Работа UTM5 и СУБД при высокой загрузке и кол-ве клиентов

unReal · Сообщение **unReal** » Сб мар 21, 2009 21:10

hi2all!

Собственно весь форум состоит из тем - а почему не работает то, а почему пропали данные и т.п. Вопросов об оптимизации и работе при экстремальных нагрузках - очень мало.

Соотв. вопрос - а как у вас ведёт себя ютм и субд при высокой загрузке?.. Допустим 1 терабайт в сутки, до 10ти различных классах трафика, до 1000 тарифных планов и соотв то 5000 до 10000 клиентов?..

Например у меня: 5к клиентов, у каждого из них 7 классов трафика (считаем разные направления, классы - по куче айпи сетей), 5.2.1-004, посгрес 8.1.11, 8 процов ксеонов по 3 ггц, 8 гб озу, винты сас в раид 0 (данные бекапятся скриптами раз в час), таблицы discount_transactions_* дампятся и очищаются раз в час.

Замеченные проблемы: задержка отображения статистики ~ 1-2 часа, при этом в минус абоненты уходят максимум до -1 (абоненты отключаются ровно, когда надо и на нуле, но биллинг продолжает снимать ещё по паре центов в течении неск. часов (???)). Ну и небольшая тормознутость работы (клиентов всё таки многовато + сплошь и рядом - скл запросы, мягко говоря - совсем не оптимизированные). Ещё и остановка биллинга по SIG_USR1 может длится ~ 1 час (пока все данные посчитает и запишет в базу), kill -9 не юзаю, дабы не потерять данные за последний час.

Вопрос - у всех так? или мне просто повезло? или просто сервер мощный?..

mikkey finn

тебе не повезло со старой версией биллинга.
обновись до 5.2.1-006 последней, там сущесмтвенно передланы индексы были. по крайней мере для mysql.

Magnum72

Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.

mikkey finn

во, маленькая такая домашняя сеточка в горном кишлаке (ц) =)

masis · Сообщение **masis** » Пн мар 23, 2009 13:52

Кстати, про загрузку, небольшой оффтоп.. А не подскажет кто, сколько примерно PPTP сессий с MPPE шифрованием потянет средний сервер под Linux?

kirush · Сообщение **kirush** » Пн мар 23, 2009 15:21

Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.

Какая ОС? И если можно настройки ядра под неё, которые были сделаны. Ну и если можно my.cnf

Magnum72

kirush писал(а):
Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.
Какая ОС? И если можно настройки ядра под неё, которые были сделаны. Ну и если можно my.cnf

FC8 x64, настроики не делали, my.cnf выкладывал в форуме

zat · Сообщение **zat** » Пн мар 23, 2009 19:57

Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.

И все тарифы 1 и больше Мбит/с ?

Magnum72

zat писал(а):
Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.
И все тарифы 1 и больше Мбит/с ?

512 и больше, но по ночам увеличение идет до 5-10 раз, поэтому в среднем тарифы от 2 до 10 получаются

zat · Сообщение **zat** » Вт мар 24, 2009 11:13

Magnum72 писал(а):
zat писал(а):
Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.
И все тарифы 1 и больше Мбит/с ?
512 и больше, но по ночам увеличение идет до 5-10 раз, поэтому в среднем тарифы от 2 до 10 получаются

Фигасе. По идее шейпер должен сдохнуть на таких нагрузках, а он пашет.

Magnum72

zat писал(а):
Magnum72 писал(а):
zat писал(а):
Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.
И все тарифы 1 и больше Мбит/с ?
512 и больше, но по ночам увеличение идет до 5-10 раз, поэтому в среднем тарифы от 2 до 10 получаются
Фигасе. По идее шейпер должен сдохнуть на таких нагрузках, а он пашет.

Какой нафиг шейпер

Трафик полисится на 6 ВПН цисках (7206), через радиус атрибуты

zat · Сообщение **zat** » Вт мар 24, 2009 11:30

Magnum72 писал(а):
zat писал(а):
Magnum72 писал(а):
zat писал(а):
Magnum72 писал(а):Надо просто немного поработать напильником

У меня: только внешнего трафика под 200Tb в месяц, локальный слава богу не считаю, 55к клиентов, у каждого из них 21 класс трафика (из них только 7 испольюзуются, остальные фиктивные в них забиты SRS DST как 127.0.0.1), 16 тарифных планов (включая архивные), 5.2.1-006.6, mysql 5.0.45, 4 проца E5430, 16Gb RAM, винты Seagate 500Gb SAS в RAID50 - 9 штук.

Попозже обновлю сообщение, допишу какие доработки были сделаны.
И все тарифы 1 и больше Мбит/с ?
512 и больше, но по ночам увеличение идет до 5-10 раз, поэтому в среднем тарифы от 2 до 10 получаются
Фигасе. По идее шейпер должен сдохнуть на таких нагрузках, а он пашет.
Какой нафиг шейпер
Трафик полисится на 6 ВПН цисках (7206), через радиус атрибуты

А....

а то я уже начал подумывать зачем мне 7204...

Magnum72

zat писал(а): А.... а то я уже начал подумывать зачем мне 7204...

Если есть деньги лучше взять ASR1004 с процом повеселее типа 20G

spudd · Сообщение **spudd** » Вт мар 24, 2009 12:45

Magnum72, а сколько онлайн сессий в пике?

Magnum72

spudd писал(а):Magnum72, а сколько онлайн сессий в пике?

На каждой около 2-3, при суммарном трафика в обестороны на каждой циске около 600мбит, при 800 мбит циске становится плохо, и надо расширять пул..

собтвенно от сессий загрузка мало зависит, только от pps, без анлимного трафика на циску можно и 8000 повесить думаю загрузка и 50% не перепрыгнет...