детальная статистика в 5.2.1

dr.stor

Тестируем utm-5.2.1-001 на freebsd-6.1.
При попытке сгенерировать из интерфейса детальный отчет по трафику, ядро урезает файлы с деталькой до 4М:

выборка за сутки убила все сегодняшние файлы:

-rw-r--r-- 1 root wheel - 30040064 Sep 21 13:33 iptraffic_raw.dbs
-rw-r--r-- 1 root wheel - 100007936 Sep 18 18:22 iptraffic_raw_1158589349.dbs
-rw-r--r-- 1 root wheel - 100007936 Sep 18 19:40 iptraffic_raw_1158594027.dbs
...
-rw-r--r-- 1 root wheel - 100007936 Sep 20 19:06 iptraffic_raw_1158764797.dbs
-rw-r--r-- 1 root wheel - 100007936 Sep 20 20:50 iptraffic_raw_1158771032.dbs
-rw-r--r-- 1 root wheel - 100007936 Sep 20 22:39 iptraffic_raw_1158777575.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158784950.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158796980.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158813382.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158821278.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158825982.dbs
-rw-r--r-- 1 root wheel - 4235264 Sep 21 13:32 iptraffic_raw_1158829995.dbs

Что порекомендуют гуру?

dr.stor

Перевел биллинг на новый формат хранения netflow *.utm. В результате ничего не поменялось:

вид до (лимит размера файла 4М):

-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:17 iptraffic_raw_1158836994.utm
-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:24 iptraffic_raw_1158837432.utm
-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:30 iptraffic_raw_1158837867.utm
-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:36 iptraffic_raw_1158838249.utm
-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:42 iptraffic_raw_1158838603.utm
-rw-r--r-- 1 root wheel - 4000032 Sep 21 15:47 iptraffic_raw_1158838938.utm
-rw-r--r-- 1 root wheel - 444676 Sep 21 15:48 iptraffic_raw_1158839277.utm

вид после:

-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836194.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836293.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836373.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836459.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836546.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836548.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836633.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836724.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836806.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836894.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158836994.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158837432.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158837867.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158838249.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158838603.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158838938.utm
-rw-r--r-- 1 root wheel - 4235264 Sep 21 15:48 iptraffic_raw_1158839277.utm
-rw-r--r-- 1 root wheel - 36328 Sep 21 15:49 iptraffic_raw_1158839339.utm

Есть идеи как это пофиксить?

Denis Samsonov

хоть я не один такой

аналогичная проблема. решается уже 15 дней.

avgust-ek

да да таже самая проблемма

Utm3_user

Denis Samsonov писал(а):хоть я не один такой аналогичная проблема. решается уже 15 дней.

Если статистика хранится в формате *.utm, то отчет можно получить только с помощью консольной утилиты get_nf_direct. Описание работы вот здесь http://www.netup.ru/articles.php?n=16. Не пытайтесь получить детальную статистику через интерфейс администратора. Получите то, что описано выше. Более того. Даты в деталке все слетят на 01.01.1970

dr.stor

Utm3_user писал(а):Если статистика хранится в формате *.utm, то отчет можно получить только с помощью консольной утилиты get_nf_direct. Описание работы вот здесь http://www.netup.ru/articles.php?n=16. Не пытайтесь получить детальную статистику через интерфейс администратора. Получите то, что описано выше. Более того. Даты в деталке все слетят на 01.01.1970

Читали, утилита - это круто. Повесим ее на веб-морду, раз жава-морде так тяжело оказалось. Да, а как это даты в деталке слетят, если деталки уже не будет? И как это не пытайтесь, когда у админов привычка смотреть его через жаву вырабатывалась годами?

Хотелось бы гарантировать сохранность детального трафика. Была идея убирать файлы скриптом /netup/utm5/bin/raw_fd_script туда, где ведро биллинга до них не доберется. Но в числе прочего безвозвратно обнуляется текущий файл. Пробовал создать отдельную группу без прав на rpcf_get_traffic_detailed. Не помогло. Может знает кто, как запретить просмотр детального трафика?

Magnum72

dr.stor писал(а):
Utm3_user писал(а): Хотелось бы гарантировать сохранность детального трафика. Была идея убирать файлы скриптом /netup/utm5/bin/raw_fd_script туда, где ведро биллинга до них не доберется. Но в числе прочего безвозвратно обнуляется текущий файл. Пробовал создать отдельную группу без прав на rpcf_get_traffic_detailed. Не помогло. Может знает кто, как запретить просмотр детального трафика?
Я думал куда у меня файлы деваются Круто..

Мы кстати сделали скрипт который перепарсивает файлы деталки и раскладывает трафик помесячно в файлики по аккаунтам, потом отдаем их пользователям
экономия: есть оригинальный файл 50 мег после вырезания ненужных столбцов становится около 20 мег, после запаковки полученных файлов зипом общий размер файлов около 5 мег(пакуем один раз в начале нового учетного периода)

dda2000

Magnum72

А может поделишься полезным скриптиком

MadMike

Magnum72 писал(а):
dr.stor писал(а):
Utm3_user писал(а): Хотелось бы гарантировать сохранность детального трафика. Была идея убирать файлы скриптом /netup/utm5/bin/raw_fd_script туда, где ведро биллинга до них не доберется. Но в числе прочего безвозвратно обнуляется текущий файл. Пробовал создать отдельную группу без прав на rpcf_get_traffic_detailed. Не помогло. Может знает кто, как запретить просмотр детального трафика?
Я думал куда у меня файлы деваются Круто..

Мы кстати сделали скрипт который перепарсивает файлы деталки и раскладывает трафик помесячно в файлики по аккаунтам, потом отдаем их пользователям
экономия: есть оригинальный файл 50 мег после вырезания ненужных столбцов становится около 20 мег, после запаковки полученных файлов зипом общий размер файлов около 5 мег(пакуем один раз в начале нового учетного периода)
Действительно, заделись!
Просим!

avgust-ek

было бы не плохо, иметь такой скрипт

Magnum72

avgust-ek писал(а):было бы не плохо, иметь такой скрипт

Пожалуйста:
http://depositfiles.com/files/271960/dsutm5.rar.html
мануал внутри архива.

dalex · Сообщение **dalex** » Пт сен 22, 2006 13:07

в 521-002 билде будет можно смотреть статистику в новом формате в админке

Magnum72

dalex писал(а):в 521-002 билде будет можно смотреть статистику в новом формате в админке

Да грустно это смотреть через админку. проще юзерам горовые файлы отдавать и пусть делают что хотят с ними. Но если честно не помешает

dr.stor

dalex писал(а):в 521-002 билде будет можно смотреть статистику в новом формате в админке

Со старым форматом тоже не все гладко. Касательно обнуления файлов статистики ничего не подскажете?

dalex · Сообщение **dalex** » Пт сен 22, 2006 14:26

Касательно обнуления файлов статистики ничего не подскажете?

не понЯл.