Как разбить большие файлы детализации.

Технические вопросы по UTM 5.0
online
Сообщения: 12
Зарегистрирован: Чт дек 11, 2008 08:06

Как разбить большие файлы детализации.

Сообщение online »

Здравствуйте все. Может кто знает утилитку для разбиения больших файлов детализации *.utm на несколько частей....очень надо!

masis
Сообщения: 39
Зарегистрирован: Ср фев 18, 2009 13:30
Откуда: Н.Новгород

Сообщение masis »

Любой программой для разрезания файлов.
split -b 760000 iptraffic_raw_file.utm
число байт должно быть кратно 76 - размер одной записи.

Аватара пользователя
detx
Сообщения: 346
Зарегистрирован: Вт мар 11, 2008 12:00
Откуда: Нижний Новгород

Сообщение detx »

в админке можно выставить параметр, который будет определять размер этих фалов
raw_max_size

online
Сообщения: 12
Зарегистрирован: Чт дек 11, 2008 08:06

Сообщение online »

masis писал(а):Любой программой для разрезания файлов.
split -b 760000 iptraffic_raw_file.utm
число байт должно быть кратно 76 - размер одной записи.
Спасибо за ответ, обязательно попробую)

Аватара пользователя
alexus
Сообщения: 448
Зарегистрирован: Сб окт 11, 2008 10:31

Сообщение alexus »

А нет возможности разбивать файлы не по размеру, а под периоду времени? Например раз в месяц или раз в неделю, день.

Аватара пользователя
detx
Сообщения: 346
Зарегистрирован: Вт мар 11, 2008 12:00
Откуда: Нижний Новгород

Сообщение detx »

Напиши скриптик и пускай он запускается по крону.

Аватара пользователя
alexus
Сообщения: 448
Зарегистрирован: Сб окт 11, 2008 10:31

Сообщение alexus »

detx писал(а):Напиши скриптик и пускай он запускается по крону.
А что в скпритике написать? (впорос наверное глуповат)

masis
Сообщения: 39
Зарегистрирован: Ср фев 18, 2009 13:30
Откуда: Н.Новгород

Сообщение masis »

alexus писал(а):
detx писал(а):Напиши скриптик и пускай он запускается по крону.
А что в скпритике написать? (впорос наверное глуповат)
Если хочешь разбивать файлы по времени или дате, то в скрипте надо анализировать время каждой записи. Время - смещение в записи (76 байт) от начала - 68 байт, длина 4 байта (int).. Дальше программируешь что тебе надо. :)

Аватара пользователя
alexus
Сообщения: 448
Зарегистрирован: Сб окт 11, 2008 10:31

Сообщение alexus »

masis писал(а):
alexus писал(а):
detx писал(а):Напиши скриптик и пускай он запускается по крону.
А что в скпритике написать? (впорос наверное глуповат)
Если хочешь разбивать файлы по времени или дате, то в скрипте надо анализировать время каждой записи. Время - смещение в записи (76 байт) от начала - 68 байт, длина 4 байта (int).. Дальше программируешь что тебе надо. :)
Капец. а как это делается?

mrDefault
Сообщения: 86
Зарегистрирован: Ср окт 29, 2008 12:04

Сообщение mrDefault »

Капец админы пошли :) Уважаемый тут конечно отвечают, но не на такие же вопросы, вам дали наводку в каком направлении копать, так что учите мат часть, читайте доки по программированию на shell ну и про awk почитайте еще. В конце концов вам же деньги за ваш биллинг платят, мне конечно не жалко, но рано или поздно встанет задача которую с помощью форума не решите и будите платить или свои деньги спецам или вылетите с работы. Так что если уж взялись за это дело, то учитесь, данный скрипт хорошее начало. Лучше неделю потерять, но написать САМОМУ, вы в первую очередь выиграете от этого, как специалист :)

P.S. А если ни секрет, зачем вам нужно бить эти файлы? Может ваша задача решается более простым способом, например с помощью средств биллинга.

Аватара пользователя
alexus
Сообщения: 448
Зарегистрирован: Сб окт 11, 2008 10:31

Сообщение alexus »

mrDefault писал(а):Капец админы пошли :) Уважаемый тут конечно отвечают, но не на такие же вопросы, вам дали наводку в каком направлении копать, так что учите мат часть, читайте доки по программированию на shell ну и про awk почитайте еще. В конце концов вам же деньги за ваш биллинг платят, мне конечно не жалко, но рано или поздно встанет задача которую с помощью форума не решите и будите платить или свои деньги спецам или вылетите с работы. Так что если уж взялись за это дело, то учитесь, данный скрипт хорошее начало. Лучше неделю потерять, но написать САМОМУ, вы в первую очередь выиграете от этого, как специалист :)

P.S. А если ни секрет, зачем вам нужно бить эти файлы? Может ваша задача решается более простым способом, например с помощью средств биллинга.
Да, наверное, вы правы, мне это нафиг не надо. Не мне с ними надо будет работать.

JAO
Сообщения: 1153
Зарегистрирован: Вт дек 11, 2007 08:17

Сообщение JAO »

Интересная позиция.

Kayfolom
Сообщения: 746
Зарегистрирован: Вс фев 12, 2006 17:15

Сообщение Kayfolom »

А где можно посмотреть формат *.utm? Длину записи увидел тут, время тоже. А остальное? Смещения, длины, типы?

mikkey finn
Сообщения: 1612
Зарегистрирован: Пт ноя 10, 2006 15:23

Сообщение mikkey finn »

парсер деталки Магнума глянь изнутри, там все весьма хорошо откомментировано.

Аватара пользователя
detx
Сообщения: 346
Зарегистрирован: Вт мар 11, 2008 12:00
Откуда: Нижний Новгород

Сообщение detx »

mikkey finn писал(а):парсер деталки Магнума глянь изнутри, там все весьма хорошо откомментировано.
А где бы его найти???

Ответить