Лог ip, сайтов

[AnrDaemon]

"Связность и адекватность" - отображение имён сайтов, которые были запрошены, а не PTR записей, которые тривиально доступны и никому не интересны, за исключением анализа атак и рассылки комплейнов.

[virusoft]

"Связность и адекватность" - отображение имён сайтов, которые были запрошены, а не PTR записей, которые тривиально доступны и никому не интересны, за исключением анализа атак и рассылки комплейнов.

Почему ты не допускаешь, что может быть именно это ТС и надо?

[AnrDaemon]

Потому что ТС этого не сказал.
Извини, у меня нет времени на святочные гадания.
Да и не девочка я.

[MooSE]

Честно говоря топик-стартеру реально хорошо бы поделиться для чего ему это. Хотя бы примерно. Потому что под конкретную задачу можно найти конкретное решение, которое будет работать как часы и хранить данные максимально оптимальным образом.

Если же просто всё в кучу собрать то пожалуйста - flow-tools + скрипты на bash. Когда-то давно для полного учёта произвольного трафика я так и сделал. А потом из полученных netflow-данных по мере надобности вытаскивал то что мне нужно.

Но я не уверен что топик-стартер готов этим заморачиваться.

[ReNzRv]

AnrDaemon,
Раз ты сам сказал что -невозможно, и другого ничего не предложил,
то остается только PTR.

MooSE,

Честно говоря топик-стартеру реально хорошо бы поделиться для чего ему это.
Хотя бы примерно.

Хотя бы примерно: Чтобы смотреть на какие адреса, сайты шли данные (суммировано).
Формат лога:
Минимум - ip, сайт,
Хорошо - ip, сайт, протокол, сколько раз, байт rx tx

Если же просто всё в кучу собрать то пожалуйста

Да в кучу, именно так.
Чем там заморачиваться?

[AnrDaemon]

Сайтов не будет. Только IP, протокол, порт, количество трафика in/out.
Сайт знает браузер, если найдёшь такой плаг, либо пустишь браузер через прокси, но это не поможет для трафика, не связанного с HTTP.

[MooSE]

ТС, прочитай про netflow и что там можно хранить. То что ты называешь "сайт" там не хранится. Но это PTR и она легко извлекается по IP.

Чем заморачиваться? Ну я своё решение когда-то описал вот тут: https://www.ylsoftware.com/news/492

[z-user]

Запускает ТС wireshark и смотрит ВЕСЬ сетевой трафик в том числе и DNS запросы.
renzrv, надеюсь в курсе, что обмен в сети идет по IP адресам, а название сайтов основном мелькает только на этапе DNS запроса?

AnrDaemon, поправил, спсб.

[AnrDaemon]

"как правило"…

[ReNzRv]

Спасибо всем, вспомнил про wireshark, и нашел tshark похоже - оно:
есть статистика (суммаризация) ip, имен сайтов, и еще много чего,
еще во всем не разобрался.
Старт логинга со статистикой:

Код: [Выделить]

sudo tshark -z hosts -i ppp0 > /path/to/Log.txtПосле отключения интерфейса конце лога добавляется статистика,
пример:

(Нажмите, чтобы показать/скрыть)

  1   0.000000 ***мой ip*** -> 176.59.95.150 DNS 77 Standard query 0x0804  A forum.ubuntu.ru
  2   0.000062 ***мой ip*** -> 217.169.82.249 DNS 77 Standard query 0x0804  A forum.ubuntu.ru
  3   0.891416 176.59.95.150 -> ***мой ip*** DNS 175 Standard query response 0x0804  A 213.108.248.249 A 213.108.249.3
  4   0.892120 ***мой ip*** -> 213.108.248.249 TCP 76 47434 > http [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=1606302 TSecr=0 WS=128
  5   1.103040 217.169.82.249 -> ***мой ip*** DNS 236 Standard query response 0x0804  A 213.108.248.249 A 213.108.249.3
  6   1.103138 ***мой ip*** -> 217.169.82.249 ICMP 264 Destination unreachable (Port unreachable)
  7   1.103207 213.108.248.249 -> ***мой ip*** TCP 68 http > 47434 [SYN, ACK] Seq=0 Ack=1 Win=63443 Len=0 MSS=1400 WS=64 SACK_PERM=1
  8   1.103261 ***мой ip*** -> 213.108.248.249 TCP 56 47434 > http [ACK] Seq=1 Ack=1 Win=29312 Len=0
  9   6.104132 ***мой ip*** -> 213.108.248.249 TCP 56 47434 > http [FIN, ACK] Seq=1 Ack=1 Win=29312 Len=0
 10   6.617961 ***мой ip*** -> 213.108.248.249 TCP 56 [TCP Retransmission] 47434 > http [FIN, ACK] Seq=1 Ack=1 Win=29312 Len=0
 11   9.001915 ***мой ip*** -> 213.108.248.249 TCP 56 [TCP Retransmission] 47434 > http [FIN, ACK] Seq=1 Ack=1 Win=29312 Len=0
 12   9.321526 213.108.248.249 -> ***мой ip*** TCP 56 http > 47434 [ACK] Seq=1 Ack=2 Win=23360 Len=0
 13   9.321675 213.108.248.249 -> ***мой ip*** TCP 56 http > 47434 [FIN, ACK] Seq=1 Ack=2 Win=23360 Len=0
 14   9.321726 ***мой ip*** -> 213.108.248.249 TCP 56 47434 > http [ACK] Seq=2 Ack=2 Win=29312 Len=0
 15   9.321676 213.108.248.249 -> ***мой ip*** TCP 56 [TCP Dup ACK 13#1] http > 47434 [ACK] Seq=2 Ack=2 Win=23360 Len=0
 16   9.321677 213.108.248.249 -> ***мой ip*** TCP 56 [TCP Out-Of-Order] http > 47434 [FIN, ACK] Seq=1 Ack=2 Win=23360 Len=0
 17   9.321768 ***мой ip*** -> 213.108.248.249 TCP 56 [TCP Dup ACK 14#1] 47434 > http [ACK] Seq=2 Ack=2 Win=29312 Len=0
 18   9.371435 213.108.248.249 -> ***мой ip*** TCP 56 [TCP Retransmission] http > 47434 [FIN, ACK] Seq=1 Ack=2 Win=23360 Len=0
 19   9.371519 ***мой ip*** -> 213.108.248.249 TCP 56 [TCP Dup ACK 14#2] 47434 > http [ACK] Seq=2 Ack=2 Win=29312 Len=0
 20  12.740447 213.108.248.249 -> ***мой ip*** TCP 56 [TCP Retransmission] http > 47434 [FIN, ACK] Seq=1 Ack=2 Win=23360 Len=0
 21  12.740534 ***мой ip*** -> 213.108.248.249 TCP 56 [TCP Dup ACK 14#3] 47434 > http [ACK] Seq=2 Ack=2 Win=29312 Len=0
 22  13.072066 ***мой ip*** -> 176.59.95.150 DNS 74 Standard query 0xee25  A habrahabr.ru
 23  13.099643 176.59.95.150 -> ***мой ip*** DNS 90 Standard query response 0xee25  A 178.248.233.33
 24  13.100436 ***мой ip*** -> 178.248.233.33 TCP 76 60925 > http [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=1609354 TSecr=0 WS=128
 25  13.129627 178.248.233.33 -> ***мой ip*** TCP 68 http > 60925 [SYN, ACK] Seq=0 Ack=1 Win=63443 Len=0 MSS=1400 WS=64 SACK_PERM=1
 26  13.129735 ***мой ip*** -> 178.248.233.33 TCP 56 60925 > http [ACK] Seq=1 Ack=1 Win=29312 Len=0
 27  13.130293 ***мой ip*** -> 178.248.233.33 HTTP 374 GET / HTTP/1.1
 28  13.219561 178.248.233.33 -> ***мой ip*** TCP 56 http > 60925 [ACK] Seq=1 Ack=319 Win=23360 Len=0
 29  13.259684 178.248.233.33 -> ***мой ip*** HTTP 424 HTTP/1.1 301 Moved Permanently  (text/html)
 30  13.259770 ***мой ip*** -> 178.248.233.33 TCP 56 60925 > http [ACK] Seq=319 Ack=369 Win=30336 Len=0

*************

1671  37.789405 ***мой ip*** -> 178.248.233.33 TCP 68 56973 > https [ACK] Seq=2235 Ack=167363 Win=169472 Len=0 TSval=1615526 TSecr=2276141643
1672  37.938998 178.248.233.33 -> ***мой ip*** TCP 80 [TCP Dup ACK 1670#1] https > 56973 [ACK] Seq=167363 Ack=2235 Win=35840 Len=0 TSval=2276141802 TSecr=1615104 SLE=2234 SRE=2235
1673  37.959501 178.248.232.25 -> ***мой ip*** TCP 80 [TCP Dup ACK 1656#1] https > 51202 [ACK] Seq=7129 Ack=673 Win=31232 Len=0 TSval=2278306766 TSecr=1611541 SLE=704 SRE=705
1674  37.969131 178.248.232.25 -> ***мой ip*** TCP 88 [TCP Dup ACK 1656#2] https > 51202 [ACK] Seq=7129 Ack=673 Win=31232 Len=0 TSval=2278306777 TSecr=1611541 SLE=704 SRE=705 SLE=704 SRE=705
1675  37.973946 ***мой ip*** -> 178.248.232.25 TLSv1.2 99 [TCP Fast Retransmission] Encrypted Alert
# TShark hosts output
#
# Host data gathered from /tmp/wireshark_pcapng_ppp0_20160828185109_ZlIFJN

213.108.248.249            forum.ubuntu.ru
213.108.249.3            forum.ubuntu.ru
213.95.0.65            dns1.noris.net
192.109.102.65            dns2.noris.net
194.31.2.65            dns3.noris.net
178.248.233.33            habrahabr.ru
182.50.136.239            ocsp.godaddy.com.akadns.net
104.24.22.119            habracdn.net
104.24.21.119            habracdn.net
212.24.44.142            habrastorage.org
178.255.83.1            ocsp.comodoca.com
178.248.232.25            id.tmtm.ru
104.25.129.115            hsto.org
104.25.130.115            hsto.org
173.245.58.86            cloe.ns.cloudflare.com
173.245.59.233            skip.ns.cloudflare.com
2400:cb00:2049:1::adf5:3a56      cloe.ns.cloudflare.com
2400:cb00:2049:1::adf5:3be9      skip.ns.cloudflare.com

[virusoft]

AnrDaemon,
Раз ты сам сказал что -невозможно, и другого ничего не предложил,
то остается только PTR.
MooSE,

Честно говоря топик-стартеру реально хорошо бы поделиться для чего ему это.
Хотя бы примерно.

Хотя бы примерно: Чтобы смотреть на какие адреса, сайты шли данные (суммировано).
Формат лога:
Минимум - ip, сайт,
Хорошо - ip, сайт, протокол, сколько раз, байт rx tx

Если же просто всё в кучу собрать то пожалуйста

Да в кучу, именно так.
Чем там заморачиваться?

AnrDaemon, Вот именно про такой вариант я и говорил.
ТС вполне возможно требуется получить данные для последующего анализа по методу Map-Reduce. А какие данные он будет анализировать и по каким алгоритмам, никого не касается. Если ТС желает получить кучу данных не понятного формата, то это его дело. Не надо за него систематизировать и выяснять для чего ему требуется получить ту или иную информацию. Просто требуется дать максимально подходящий ответ. Что собственно и получилось, но, увы, не сразу.

[AnrDaemon]

https://forum.ubuntu.ru/index.php?topic=281286.msg2214782#msg2214782

[Дмитрий Бо]

ТС вполне возможно требуется получить данные для последующего анализа по методу Map-Reduce.

А возможно и нет. А возможно, он поверит, что какой-то софт действительно обращается на хост, записанный в логах, и окажется в заблуждении. Вопрос "а зачем" был задан не просто так.

[virusoft]

ТС вполне возможно требуется получить данные для последующего анализа по методу Map-Reduce.

А возможно и нет. А возможно, он поверит, что какой-то софт действительно обращается на хост, записанный в логах, и окажется в заблуждении. Вопрос "а зачем" был задан не просто так.

Думаю что думать за других не лучший выход. Все возможно, но большинство, в т.ч. здесь присутствующих, считает что надо собрать максимум информации, при чем конкретной, чтобы потом дать расплывчатый ответ. А подсказать возможное направление для того чтобы вопрошающий сам разобрался считают не обязательным. Проще послать на три буквы (URL).
Вот по этому я и считаю этот форум недружелюбным. Люди людей не видят.

[Дмитрий Бо]

virusoft, у нас разный подход к людям.
"ТС вполне возможно требуется получить данные для последующего анализа по методу Map-Reduce" - я вот это и назывю думать за людей. Пусть человек сам скажет, зачем за него придумывать.