Огромная загрузка процессора (70-80%)

Вопросы по UTM 3.0 и UTM 4.0 (поддержка прекращена)
Закрыто
Gonzo
Сообщения: 6
Зарегистрирован: Ср мар 30, 2005 09:20

Огромная загрузка процессора (70-80%)

Сообщение Gonzo »

Загрузка процессора в UTM 4.0 держится постоянно на уровне 70-80%!

(FreeBSD 5.1, p4 2.4, 512Mb, около 700 клиентов)

Интересно знать возможные причины и как с этим бороться.

Заранее благодарен, Илья Никитин

Skylord
Сообщения: 263
Зарегистрирован: Пт фев 04, 2005 11:33

Сообщение Skylord »

"Постоянно" - это значит и в интервалах между запусками tsave тоже? А коллектор какой стоит? Не netup_netflow?

Gonzo
Сообщения: 6
Зарегистрирован: Ср мар 30, 2005 09:20

Сообщение Gonzo »

Skylord писал(а):"Постоянно" - это значит и в интервалах между запусками tsave тоже? А коллектор какой стоит? Не netup_netflow?
Да! Между интервалами тоже, что и беспокоит. Коллектор действительно netflow, но процессор в основном загружает mysqld (точнее только он и загружает...), самое главное не могу понять какой именно процесс в mySQL так грузит проц

Skylord
Сообщения: 263
Зарегистрирован: Пт фев 04, 2005 11:33

Сообщение Skylord »

Gonzo писал(а):
Skylord писал(а):"Постоянно" - это значит и в интервалах между запусками tsave тоже? А коллектор какой стоит? Не netup_netflow?
Да! Между интервалами тоже, что и беспокоит. Коллектор действительно netflow, но процессор в основном загружает mysqld (точнее только он и загружает...), самое главное не могу понять какой именно процесс в mySQL так грузит проц
Вот, небось, netflow и грузит... У меня где-то полсотни одновременно открытых туннелей, с которых инфа снималась и клалась в базу по netflow - создавали постоянную нагрузку около 20-30 процентов. У тебя народу больше.... А netflow же постоянно в базу все сбрасывает... Ты зацени, как она растет! ;-)

Gonzo
Сообщения: 6
Зарегистрирован: Ср мар 30, 2005 09:20

Сообщение Gonzo »

Skylord писал(а):Вот, небось, netflow и грузит... У меня где-то полсотни одновременно открытых туннелей, с которых инфа снималась и клалась в базу по netflow - создавали постоянную нагрузку около 20-30 процентов. У тебя народу больше.... А netflow же постоянно в базу все сбрасывает... Ты зацени, как она растет! ;-)
Действительно грузит netflow... :twisted: Появился побочный эффект - теряются данные о траффике, причем расхождение достигает 25%!!!!!

Надо срочно что-то придумать! может коллектор поменять, или проц помощнее поставить (максимум 3,4 вместо нынешних 2,4).... Интересно узнать мнение специалистов...

Skylord
Сообщения: 263
Зарегистрирован: Пт фев 04, 2005 11:33

Сообщение Skylord »

Gonzo писал(а):
Skylord писал(а):Вот, небось, netflow и грузит... У меня где-то полсотни одновременно открытых туннелей, с которых инфа снималась и клалась в базу по netflow - создавали постоянную нагрузку около 20-30 процентов. У тебя народу больше.... А netflow же постоянно в базу все сбрасывает... Ты зацени, как она растет! ;-)
Действительно грузит netflow... :twisted: Появился побочный эффект - теряются данные о траффике, причем расхождение достигает 25%!!!!!

Надо срочно что-то придумать! может коллектор поменять, или проц помощнее поставить (максимум 3,4 вместо нынешних 2,4).... Интересно узнать мнение специалистов...
Я себе эту проблему решил установкой специального релиза netup_netflow, который кладет инфу не в базу, а в файлик, а в базу оно импортируется перед обработкой - дополнительные фукнции к tsave/main дописал. Если ты порулишь поиском по старому форуму, то увидишь, что народ эту проблему решает аналогично. Постоянный поток netflow реально очень сильно грузит базу...

Gonzo
Сообщения: 6
Зарегистрирован: Ср мар 30, 2005 09:20

Сообщение Gonzo »

Skylord писал(а): Я себе эту проблему решил установкой специального релиза netup_netflow, который кладет инфу не в базу, а в файлик, а в базу оно импортируется перед обработкой - дополнительные фукнции к tsave/main дописал. Если ты порулишь поиском по старому форуму, то увидишь, что народ эту проблему решает аналогично. Постоянный поток netflow реально очень сильно грузит базу...
Спасибо, нашел эту тему, там действительно пишут про netflow 1.2, надо попробовать... Кстати, там же прочитал, что установка другого коллектора (например ipcad) не решает проблему это действительно так ?

Кстати, покопался тут в логах MySQL и обнаружил вот такую запись, причем не одну:
050514 6:00:03 Warning: Found 0 of 123269 rows when repairing './UTM/traffic_netflow'

Что бы это значило ???

Skylord
Сообщения: 263
Зарегистрирован: Пт фев 04, 2005 11:33

Сообщение Skylord »

Gonzo писал(а): Спасибо, нашел эту тему, там действительно пишут про netflow 1.2, надо попробовать... Кстати, там же прочитал, что установка другого коллектора (например ipcad) не решает проблему это действительно так ?
Мммм... Как сказать... Проблема эта обоюдострая. ;-) netup_netflow_1.2 приятен тем, что в реальном времени классифицирует трафик - это существенно ускоряет отработку tsave. Но имеем проблемы с базой. Можно вообще отказаться от netup_netflow и пользовать любой простой коллектор - ipcad в режиме cisco ip accounting или еще что-нибудь. Но тогда tsave при запуске будет классифицировать трафик... Практика показывает, что большая сеть с многими сотнями пользователей в любом случае рано или поздно вынуждена перейти на netflow. Так почему бы не сделать это рано и все опробовать?
Работа с netflow, который складывается в файлик лично меня полностью устраивает. Поделиться имеющимися наработками могу - вылезай в аську.
Кстати, покопался тут в логах MySQL и обнаружил вот такую запись, причем не одну:
050514 6:00:03 Warning: Found 0 of 123269 rows when repairing './UTM/traffic_netflow'
Что бы это значило ???
Эээ... Ну чинил как-то мускуль эту табличку... А что? Все иногда ломается... ;-) Скажем, залочил он ее перед обработкой неправильно... ;-)

Закрыто