Хотелось бы хранить детализацию трафика. Но день примерно занимает в сжатом виде 100мб.
Данные например ол количестве байт не нужны, но хотелось бы хранить адреса ресурсов куда пользователь ходил... Кто сталкивался?
Детальный отчет
У меня день в сжатом виде занимает около гига. Под хранилище выделен терабайт. Храню как есть, отфильтрованы только определенные лицевые счета, пул адресов для NAT. Если Вы думаете вырезать определенные поля, то Вам надо изготавливать самописные средства для работы с отфильтрованной таким образом деталькой. Генератор детальных отчетов свой. Или парсер, который делает это на ходу.
Интервал 15 минут. Размер несжатого файла с деталькой 500000000 байт, то есть примерно полгига. Он фильтруется, оттуда вычищается около 50% данных (это тот самый NAT, который в детальке абсолютно никому не нужен). Сжимаю bzip2 на максимальном (-9), в результате получается 98 мегабайт. В сутки 12-15 таких файлов уходит в хранилище. У меня просто есть самописный генератор отчетов, умеющий обрабатывать упакованные файлы.
Хм... а как туда NAT попадает? Странно... что за сенсор у Вас используется?JAO писал(а):Интервал 15 минут. Размер несжатого файла с деталькой 500000000 байт, то есть примерно полгига. Он фильтруется, оттуда вычищается около 50% данных (это тот самый NAT, который в детальке абсолютно никому не нужен). Сжимаю bzip2 на максимальном (-9), в результате получается 98 мегабайт. В сутки 12-15 таких файлов уходит в хранилище. У меня просто есть самописный генератор отчетов, умеющий обрабатывать упакованные файлы.
У меня два первых правила в цепочке FORWARD:
iptables -A FORWARD -i ppp+ -j NETFLOW
iptables -A FORWARD -o ppp+ -j NETFLOW
Трафик считает тютелька в тютельку без всякого мусора, тоже есть NAT.
А по теме: файлы детальки по 2Гб, набегает за 1,5 - 2 дня. Храню так три месяца, потом сжимаю бзипом с максимальным сжатием (получаются архивы по 400Мб).