Мониторинг и отчеты

Traffic Inspector Next Generation поддерживает ряд механизмов отчетности и мониторинга:

  • Мониторинг трафика с помощью NetFlow
  • Мониторинг системы с помощью RRDtool
  • Отчеты по веб-прокси
  • Журнал сетевого экрана pf
  • Системный журнал и syslog-ng

Мониторинг трафика с помощью NetFlow

NetFlow – технология и сетевой протокол для снятия сетевой статистики с сетевых интерфесов маршрутизаторов. NetFlow разработан Cisco и является де-факто промышленным стандартом, поддерживаемым сетевым оборудованием Cisco, Juniper и Unix-подобными системами.

Архитектура NetFlow предполагает три роли, которые выполняются устройствами:

  • сенсор / экспортер
  • коллектор
  • анализатор

Сенсор – это маршрутизатор, который собирает статистику по проходящему через него трафику и отправляет коллектору по протоколу NetFlow. В задачи коллектора входит хранение полученных данных и предоставление их анализатору. Анализатор анализирует собранные коллектором данные и формирует пригодные для чтения человеком отчёты (часто в виде графиков). Traffic Inspector Next Generation может одновременно выполняет роль всех трех компонентов архитектуры NetFlow. В частности, в TING используется анализатор Insight. Также поддерживается экспорт данных о потоках во внешние коллекторы.

Центральное понятие NetFlow – это поток, что отображено в названии технологии. Потоком считается набор пакетов, проходящих в одном направлении и характеризуемых рядом параметров (IP-адрес источника, IP-адрес назначения, порт источника, порт назначения, номер протокола, сетевой интерфейс и т.п.).

Когда сенсор определяет, что поток закончился, он отправляет информацию о потоке в коллектор. В зависимости от настроек он также может периодически отправлять в коллектор информацию о все еще идущих потоках.

Во FreeBSD, NetFlow реализован в виде модуля ядра ng_netflow (Netgraph) и по этой причине отличается быстрой работой с минимальными затратами (по сравнению с решениями вроде softflowd или pfflowd.).

На базе NetFlow в Traffic Inspector Next Generation реализован ряд отчетов:

  • Отчет по сетевой статистике
  • Отчет по наиболее популярным сетевым службам
  • Отчет по наиболее популярным IP-адресам назначения

Настройка NetFlow

Для настройки NetFlow Exporter зайдите в Создание отчетов -> NetFlow.

_images/netflow_settings.png

В поле Интерфейсы выберите все интерфейсы, с которых хотите собирать данные; обычно выбирают все доступные интерфейсы.

В поле Только исходящий выберите WAN-интерфейсы, чтобы избежать повторного подсчета натированного трафика.

Для возможности локального анализа с использованием Insight, включите Локальный захват пакетов.

В зависимости от ситуации вы можете использовать версию NetFlow 5 или 9. Версия 5 не поддерживает IPv6.

Добавьте точку сохранения (IP-адрес: порт, затем нажать Enter). Локальный IP-адрес будет добавлен автоматически, если выбран Локальный захват пакетов.

Экспорт данных NetFlow

В разделе Создание отчетов -> Анализ, нажмите на вкладку Экспорт.

Для экспортирования, выберите набор: * FlowSourceAddrTotals – Суммарные данные по IP-адресу источника * FlowInterfaceTotals - Суммарные данные по интерфейсу * FlowDstPortTotals - Суммарные данные по порту назначения * FlowSourceAddrDetails – Полные данные по IP-адресу источника * Выберите разрешающую точность в секундах (300,3600,86400) * Выберите диапазон дат и кликните клавишу Экспортировать.

Отчет по сетевой статистике

Заходим в меню Создание отчетов -> Анализ

В рамках данного отчета видно какой компьютер обращался на какой адрес по какому порту / сервису и сколько было передано данных в рамках данного взаимодействия.

_images/netflow_network_statistics.png

Можно ограничить вывод данных с помощью фильтров по диапазону дат, по порту назначения и IP-адресу источника. Поддерживается выгрузка данных в CSV-файлы для дальнейшего анализа в вашем любимом spreadsheet-приложении.

Отчет по наиболее популярным сетевым службам

Кольцевая диаграмма показывает трафик по наиболее популярным портам назначения / службам в процентном отношении. Щелчок по сектору кольцевой диаграммы открывает страницу с более детализированной информацией.

_images/netflow_topports_piechart.png

Отчет по наиболее популярным IP-адресам назначения

Кольцевая диаграмма по IP-адресам работает аналогично кольцевой диаграмме по портам и показывает наиболее популярные IP-адреса назначения.

_images/netflow_topdestinations_piechart.png

Мониторинг системы с помощью RRDtool

RRDtool — набор утилит для хранения, обработки и визуализации динамических данных (т.е. последовательность замеров некоторого изменяющегося во времени параметра). Примером таких данных может служить температура, загрузка процессора, сетевой трафик.

Все данные хранятся в кольцевой базе, размер которой остаётся неизменным. На базе RRDtool в Traffic Inspector Next Generation реализован ряд отчетов.

Настройка RRDtool

Настройка RRDtool осуществляется в разделе Создание отчетов -> Настройки.

_images/rrd_settings.png

Отчет по качеству Интернет-канала

_images/rrd_channel_quality.png

Отчет по использованию процессора

_images/rrd_processor.png

Отчет по использованию оперативной памяти

_images/rrd_memory.png

Отчет по количеству состояний трассировщика соединений сетевого экрана

_images/rrd_states.png

Мониторинг загрузки сетевых интерфейсов в реальном времени

В разделе Создание отчетов -> Графики трафика можно увидеть текущую загрузку сетевых интерфейсов и скорость работы пользовательских компьютеров.

_images/iface_speed.png

Отчеты по веб-прокси

Установка плагина os-squid-log

Для того, чтобы отчеты стали доступны в веб-интерфейсе, должен быть установлен плагин os-squid-log.

Заходим в Система -> Прошивка -> Плагины, находим в списке плагин os-squid-log и устанавливаем его нажав на плюс.

_images/plugin_install_squid-log.png

Далее, во вкладке Прогресс можно увидеть процесс установки плагина. Done сигнализирует об успешном выполнении.

_images/plugin_install_outout.png

Просмотр отчетов

Отчеты по веб-прокси доступны в разделе Службы -> Веб-прокси -> Отчеты по Веб-прокси.

_images/proxy_report.png

Поддерживаемые типы отчетов:

  • Домены (по посещенным доменам)
  • URLs (по посещенным URL)
  • Пользователи (по пользователям, генерировавшим запросы на прокси)
  • IP-адрес (по компьютерам, генерировавшим запросы на прокси)

Данные для отчетов хранятся в SQLite-базе в течение 90 дней (по умолчанию).

Можно ограничить вывод данных с помощью набора фильтров:

  • Начало периода отчета
  • Конец периода отчета
  • Имя пользователя
  • IP-адрес компьютера пользователя
  • По доменным именам
  • По URL-идентификаторам
  • По минимальному размеру объекта
  • По MIME-типу объектов

Работа с отчетом, как правило, начинается с генерации отчета по Пользователям. В поле Тип отчета выбираем Users. Нажимаем Применить для генерации отчета. В выводе можно увидеть список пользователей, которые работали через прокси, количество сделанных ими запросов, количество скачанных байт, время первого и последнего посещения.

_images/proxy_by_users.png

Щелкнув на пользователя, мы сгенерируем отчет по посещенным доменам для данного пользователя. При этом имя пользователя устанавливается в качестве фильтра отображения. В отчете видно количество запросов по каждому доменному имени, количество скачанных байт, время первого и последнего посещения. Допускается сортировка по всем колонкам отчета.

_images/proxy_by_user_by_dns.png

Далее можно сгенерировать отчет по URL, к которым обращался пользователь. Для этого, в поле Тип отчета выбираем URLs. Обратите внимание, что имя пользователя установлено в качестве фильтра отображения. Нажимаем Применить для генерации отчета. В отчете видно количество запросов по каждому URL-идентификатору, количество скачанных байт, время первого и последнего посещения. Допускается сортировка по всем колонкам отчета.

_images/proxy_by_user_by_url.png

Поддерживается отчет по активности с IP-адресов компьютеров.

_images/proxy_by_ip.png

Сохарнение настроек фильтров

Так же есть возможность сохранять настройки фильтров и подгружать ранее сохранённые. Это нужно, например, для удобства повторного применения настроек.

Выбираем нужный фильтр и жмем Cохранить:

_images/proxy_safe_filter.png

Появится окно, где нужно указать имя фильтра:

_images/proxy_safe_filter_window.png

Сохраненный фильтр отобразится в списке Filter List:

_images/proxy_safe_filter_list.png

Журнал сетевого экрана pf

В разделе Межсетевой экран -> Журналы, можно увидеть журнал работы сетевого экрана. Поддерживается ряд форматов отображения журнала:

  • Стандартное представление
  • Динамическое представление
  • Сводное представление
  • Открытый вид

Наиболее полезно Стандартное представление журнала. Здесь можно видеть судьбу каждого пакета, обработанного сетевым экраном. Отображается IP-адрес и порт источника, IP-адрес и порт назначения, входящий интерфейс, время обработки пакета и действие, которое было применено к пакету.

_images/firewall_journal.png

Системный журнал

Настройка системного журнала

Настройка системного журнала, производятся в Система -> Настройки -> Журналирование.

_images/syslog_settings.png

Здесь доступные такие параметры как:

  • Записи в GUI
  • Отключить локальное журналирование
  • Размер файла для чередования журналов
  • Счетчик чередуемых элементов
  • Журнал веб-сервера
  • Журналировать пакеты, соответствующие правилам блокировки по умолчанию из набора правил
  • Журналировать пакеты, соответствующие правилам разрешения по умолчанию из набора правил
  • Журналировать пакеты, блокированные правилом «Блокировать bogon сети»
  • Журналировать пакеты, блокированные правилом «Блокировать частные сети»
  • Описание фильтра

Просмотр системного журнала

В разделе Система -> Журнал, доступен системный журнал. Системный журнал реализован на базе Syslog. В системном журнале содержатся сообщения от различных подсистем Traffic Inspector Next Generation.

_images/syslog.png