Классические flow-данные показывают сеть. Объяснение современного трафика приложений требует L7-контекста.
Классические NetFlow и flow analytics, как правило, основываются на полях L3/L4 — IP-источник, IP-назначения, порт, протокол и счётчик байтов. Эти данные ценны для анализа сетевой мощности и направления трафика, но в современном HTTP и API-трафике они не могут самостоятельно ответить на вопрос «что произошло?». Сотни разных хостов, путей, методов и поведений приложений могут разделять один IP и порт.
Команды эксплуатации и безопасности могут видеть высокие объёмы трафика на экране flow-коллектора, но если они не могут видеть, какой URL, метод, код статуса или клиентский контекст создал этот трафик, анализ остаётся неполным. L7-контекст необходим для планирования мощностей, анализа DDoS, отчётности по периметру PCI DSS и аудита на уровне запросов.
Устранение этого разрыва с помощью отдельного flow-зонда или внешнего уровня коллектора возможно, но это добавляет установочные работы, отдельное обслуживание, отдельную модель высокой доступности и отдельные накладные расходы на мониторинг. Когда трафик приложения уже проходит через уровень ADC/WAAP, воспроизведение того же контекста в другой точке операционно неэффективно.
Правильный подход — создавать flow-экспорты в точке транзита трафика и доставлять их во внешние системы в стандартном формате IPFIX / NetFlow. Стандартные поля сохраняют видимость сети, тогда как Enterprise IE-поля добавляют HTTP-контекст. Системы flow analytics тогда могут отвечать не только «какой IP общался сколько?», но и «какой путь, какой ответ и какой клиентский контекст были задействованы?»
TR7 Нативный экспорт IPFIX / NetFlow объединяет стандартные поля IPFIX с Enterprise IE-полями TR7, создавая flow-записи с обогащением L7 как из фазы запроса, так и из фазы ответа.
Наш подход
TR7 убирает flow-экспорт из роли внешнего зонда и реализует его как встроенный уровень наблюдаемости внутри пути данных ADC/WAAP.
Встроенная C-библиотека и Lua-обёртка создают flow-записи
Стандартные и enterprise-информационные элементы подготавливаются встроенной библиотекой. Lua-обёртка собирает необходимые значения из фаз запроса и ответа и преобразует их в IPFIX-записи.
Хуки запроса и ответа захватывают L7-контекст
На стороне запроса собираются хост, путь, запрос, метод, заголовки и данные о загруженных байтах. На стороне ответа код статуса, тип содержимого ответа, скачанные байты и состояние завершения дополняют flow-запись.
Модель шаблона IPFIX обеспечивает совместимость со стандартными коллекторами
Формат IPFIX v10 использует наборы шаблонов и идентификаторы шаблонов для определения полей flow-записей для внешних систем. Эта модель позволяет коллекторам правильно разбирать поля и поддерживает совместимость со стандартными инструментами flow analytics.
Enterprise IE-поля переносят HTTP-детали в формат flow
Под TR7 Enterprise Number 57011 определены пользовательские поля для счётчиков байтов загрузки/скачивания, запроса запроса, X-Forwarded-For, Referer, Cookie, типа содержимого ответа и состояния завершения. Классические flow-данные обогащаются L7-контекстом через этот механизм.
Возможности
Экспорт IPFIX / NetFlow объединяет стандартные сетевые поля с деталями HTTP-запроса/ответа, отправляя обогащённые flow-записи в системы коллекторов.
sFlow® — взгляд на уровне интерфейса, которого IPFIX дать не может
Записи IPFIX привязаны к службе: они говорят, что несёт опубликованное приложение. sFlow® привязан к интерфейсу и говорит, что несёт провод, включая трафик, который вообще не доходит до vService. Частота выборки и интервал опроса настраиваются, а поскольку sFlow® не ведёт таблицу потоков, сам экспортёр не становится узким местом во время атаки — сигнал приходит за секунды, ровно тогда, когда потоковый экспортёр уже задыхался бы. Подавайте оба в тот коллектор, который у вас уже работает. (sFlow® — зарегистрированный товарный знак InMon Corp.)
Адреса IPv4 и IPv6 источника и назначения экспортируются с использованием стандартных полей IPFIX
TR7 может экспортировать sourceIPv4Address, destinationIPv4Address, sourceIPv6Address и destinationIPv6Address с использованием стандартных информационных элементов IPFIX. Трафик IPv4 и IPv6 видим в рамках flow analytics. Dual-stack-среды не ограничены анализом только IPv4. Сетевая видимость источника и назначения сохраняется на стороне коллектора через стандартные поля.
Транспортные порты источника и назначения дополняют корреляцию flow
Поля sourceTransportPort и destinationTransportPort включаются в flow-запись. Эти поля важны в сетевом анализе для клиентских подключений, VIP-портов и доступа к сервисам. В сочетании с HTTP-контекстом становится возможным увидеть, какой прикладной путь работает на каком порту. Анализ мощности и аномалий становится более содержательным.
HTTP-хост, путь, метод и версия добавляются в flow-запись
Стандартные HTTP-поля, такие как httpRequestHost, httpRequestPath, httpRequestMethod и httpMessageVersion, поднимают flow-запись до уровня L7. Разные хосты или пути, приходящие на один IP и порт, могут быть разграничены. Это обеспечивает критическую видимость в средах с виртуальными сервисами и несколькими приложениями. Flow analytics больше не видит только подключение — оно видит контекст запроса приложения.
Код статуса HTTP и тип содержимого делают поведение ответа видимым
Поле httpStatusCode указывает, был ли ответ успешным, перенаправлением, ошибкой клиента или ошибкой сервера. Поля типа содержимого запроса и ответа помогают анализировать тип передаваемых данных. Эта информация особенно ценна для анализа частоты ошибок, инспекции поведения API и исследования трафика на основе типа данных. Тренды ошибок L7 могут быть прочитаны более чётко на flow-коллекторе.
Поля User-Agent, Referer и Cookie предоставляют клиентский контекст
Поля httpUserAgent, httpReferrer и httpCookie позволяют более детально анализировать поведение клиентов. Эти поля можно использовать для анализа ботов, инспекции потока пользователей и дифференциации типов клиентов. Поле Cookie может содержать чувствительные данные, поэтому политика экспорта должна быть разработана тщательно. Его следует включать только для безопасных сред и ограниченного числа целевых коллекторов при необходимости.
Поля загруженных и скачанных байтов измеряют полезную нагрузку приложения
TR7 Enterprise IE включает поля uploadedBytes и downloadedBytes. Эти поля позволяют измерять объём тела запроса и тела ответа на уровне flow. Может анализироваться не только общий счётчик байтов подключения, но и направленный поток данных приложения. Эта видимость ценна в таких случаях, как большие загрузки, аномальные скачивания или подозреваемое хищение данных.
Поля запроса и X-Forwarded-For несут реальный контекст запроса
Поле httpRequestQuery добавляет параметры запроса за пределами пути в flow-запись. Поле httpXForwardedFor помогает анализировать реальный IP клиента за цепочкой прокси. Оба поля особенно полезны при корреляции логов приложения с flow-записями. Контекст запроса становится более полным в расследованиях безопасности и соответствия.
Код состояния завершения переносит поведение закрытия подключения в коллектор
Поле httpTerminationStateCode предоставляет дополнительный сигнал о том, как завершилось подключение. В flow analytics могут быть разграничены нормальное закрытие, ошибка, прерывание или неожиданное завершение. Эта информация помогает при совместной оценке проблем сетевого и прикладного уровней. Это ценное поле для команд SRE при анализе первопричин ошибок.
TR7 Enterprise Number 57011 добавляет пользовательские поля к стандартному IPFIX
Enterprise IE-поля определены под TR7 Enterprise Number 57011. Эта структура не нарушает стандартную совместимость IPFIX; она несёт пользовательские поля в явно разбираемом виде. После настройки коллектора на распознавание этих полей L7-детали становятся доступными в flow-дашбордах. Стандартные и пользовательские поля объединяются в одной экспортной записи.
Совместимость IPFIX v10 и NetFlow v9 сохраняет существующие инвестиции в коллекторы
Подход TR7 к экспорту построен на IPFIX v10 и поддерживает путь обратной совместимости с NetFlow v9. Это делает интеграцию с существующими инвестициями организаций в flow-коллекторы и сетевую видимость простой. Вместо изучения нового пользовательского формата логов можно использовать стандартную экосистему flow. Обогащение L7 поступает как дополнительный ценностной уровень TR7.
Операционная глубина
Экспорт IPFIX / NetFlow эксплуатируется совместно со структурой шаблонов, enterprise-полями, транспортным поведением, порядком байтов и зависимостями сборки.
Версия IPFIX и шаблон
Значение версии IPFIX равно 10. Идентификатор набора шаблонов — 2, идентификатор шаблона — 256. Этот шаблон информирует коллектор о том, какие поля будут поступать и в каком порядке.
Структура заголовка IPFIX
Заголовок IPFIX состоит из полей version, length, exportTime, sequenceNumber и observationDomainId. Общая длина заголовка — 16 байт. Эта структура обеспечивает базовый кадр для стандартной совместимости с коллекторами IPFIX.
Enterprise Number
Пользовательские информационные элементы TR7 переносятся под Enterprise Number 57011. Поля uploadedBytes, downloadedBytes, httpRequestQuery, httpXForwardedFor, httpReferrer, httpCookie, httpResponseContentType и httpTerminationStateCode определены в этой области. Нестандартные L7-поля явно разграничены через этот механизм.
Транспорт по умолчанию
Транспорт по умолчанию для экспорта — UDP. Порт коллектора настраивается на значения, такие как 4779 или 2055, в зависимости от требований среды. UDP — это малозатратная и широко используемая модель транспорта flow; для сред, требующих гарантий доставки, архитектура коллектора должна быть спланирована соответствующим образом.
Сетевой порядок байтов
Многобайтовые поля передаются с использованием сетевого порядка байтов. Это поведение критически важно для правильного разбора портов, длины, шаблонов и счётчиков. Совместимость коллектора в значительной степени зависит от этой стандартной кодировки.
Модель сборки библиотеки
Встроенная C-библиотека компилируется как разделяемая библиотека для интеграции с Lua. Среда сборки требует пакеты разработки Lua, pkg-config и инструменты компиляции. Результирующая библиотека вызывается Lua-обёрткой для создания flow-записей.
Когда применять
Видимость L7 в flow analytics сервис-провайдера
Сервис-провайдер, получающий IPFIX-экспорт из TR7, может просматривать детали HTTP-хоста, пути и кода статуса в своей существующей системе flow analytics. Классический анализ IP/порт расширяется L7-контекстом. Исследование мощности и аномалий становится более содержательным.
Аудит на уровне запросов для финансового соответствия
Финансовые организации могут экспортировать каждый HTTP-запрос как flow-запись во внешние системы. Поля хоста, пути, метода, кода статуса и байтов могут быть скоррелированы с SIEM или flow-коллектором. Вопросы аудита о том, какой трафик проходил через какой прикладной путь, получают более чёткие ответы.
Анализ байтов и кодов статуса при обнаружении DDoS
Команды безопасности могут использовать значения байтов загрузки/скачивания и распределение кодов статуса HTTP из flow-записей для обнаружения аномалий. Внезапные большие загрузки, аномальные скачивания или плотные паттерны 4xx/5xx могут отслеживаться на коллекторе. TR7 переносит L7-сигналы на уровень flow для анализа атак.
URL-след трафика для отчётности по периметру PCI DSS
Прикладные пути в рамках периметра данных держателей карт могут отслеживаться с хостом и URL-контекстом внутри flow-экспорта. Команды аудита получают подтверждение трафика на основе соответствующего HTTP-пути, а не только IP/порта. Это укрепляет процессы определения периметра и создания следа аудита.
Детализация до уровня пути L7 для планирования мощностей
Команды эксплуатации могут просматривать объём трафика по HTTP-пути, а не только по IP/порту, в своей существующей системе flow analytics. Какая конечная точка несёт какую нагрузку может быть проанализировано более детально. Эта видимость поддерживает планирование ресурсов и решения о росте.
Часто задаваемые вопросы
Какие версии IPFIX и NetFlow поддерживает TR7?
Работают ли Enterprise IE-поля со стандартными коллекторами IPFIX?
Сколько информационных элементов IPFIX (IE) может быть экспортировано всего?
Какой транспортный протокол используется для экспорта flow?
Как обеспечивается безопасность данных при экспорте поля Cookie?
Требуется ли отдельный flow-зонд или дополнительная установка программного обеспечения?
Усильте ваш flow analytics с видимостью L7
Нативный экспорт IPFIX v10 и NetFlow v9-совместимый — flow-записи с HTTP-обогащением без отдельного зонда. Проведём живой демонстрационный запуск на вашей инфраструктуре коллекторов.