MPD 500 сесий и ошибки 619, 691, 731,

lancelot

Имеем отдельный VPN сервер и отдельный UTM сервер
оба на базе IBM x306 3,2GHz два винта в рейд 0
соеденены для авторизации радиус и сбора нетфлов отдельными интерфейсами

Проблема
Пока одновременных соединений в интернет было мало не более 200
все работало прекрасно
VPN соединение устанавливалось мгновенно и все работало на ура
для VPN используется
FreeBSD 6.2
MPD 3.18

для UTM используется
FreeBSD 6.2
MySql 5.1
UTM 5.2.1-005
когда же одновременных сессий в интернет выросло до 500
подключиться к интернет ОООчень сложно
раз на раз не приходится но от 3х до 20ти попыток...
каждый раз проблема разная в основном это ошибка 619 и 691 реже 731, 732, 734

причем после присоединения.. выделенный канал работает хорошо

фактически проблема только в подключении..
в чем может быть проблема?

есть подозрение или radius плохо дружит с MySQL или MPD плохо дружит с радиус....
вобщем БЕДА!!!!

utm5.cfg
database_type=mysql
database=utm5
database_login=ХХХХ
database_password=ХХХХ
dbcount=20
database_charset=utf8
urfa_bind_host=0.0.0.0
urfa_lib_file=/netup/utm5/lib/utm5_core/liburfa-utils.so
urfa_lib_file=/netup/utm5/lib/utm5_core/liburfa-std.so
urfa_lib_file=/netup/utm5/lib/utm5_core/liburfa-card.so
urfa_lib_file=/netup/utm5/lib/utm5_core/liburfa-graph.so
urfa_lib_file=/netup/utm5/lib/utm5_radius/liburfa-radius.so
urfa_lib_file=/netup/utm5/lib/utm5_hotspot/liburfa-hotspot.so
urfa_lib_file=/netup/utm5/lib/utm5_dynashape/liburfa-dynashape.so
nfbuffer_host=0.0.0.0
nfbuffer_port=9996

## nbuffer_bufsize
## Description: UDP socket buffer size (set as SO_RCVBUF)
## in FreeBSD you can change maximum bufsize limit with command:
## sysctl -w kern.ipc.maxsockbuf=20485760
## in Linux you can change maximum bufsize limit with command:
## sysctl -w net.core.rmem_max=20485760
## Possible values: an integer
## Default value: set in OS
nfbuffer_bufsize=10485760
log_level=0
log_file_main=/netup/utm5/log/main.log
log_file_debug=/netup/utm5/log/debug.log
log_file_critical=/netup/utm5/log/main_critical.log
log_file_verificator=/netup/utm5/log/verificator.log
rotate_logs=yes
max_logfile_count=5
core_pid_file=/netup/utm5/utm5_core.pid

radius5.cfg
core_host=127.0.0.1
core_port=12758
radius_auth_mppe=enable
radius_auth_vap=1
radius_ippool_acct_timeout=0 ; пробовал и 1 и 5
radius_ippool_timeout=0 ; пробовал и 1 и 5
radius_card_autoadd=yes
interim_update_interval=100 ; сначало стояло по умолчанию, но 100 тоже не помогает
log_file_main=/netup/utm5/log/radius_main.log
log_file_debug=/netup/utm5/log/radius_debug.log
log_file_critical=/netup/utm5/log/radius_critical.log
rotate_logs=yes
max_logfile_count=5

база mysql табилцы isam
my.cnf

[client]
#password = your_password
port = 3306
socket = /tmp/mysql.sock

[mysqld]
port = 3306
socket = /tmp/mysql.sock
skip-locking
key_buffer = 256M
max_allowed_packet = 1M
table_cache = 256
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size= 16M

# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8

server-id = 1
MASTER_PORT=3306,
innodb_data_home_dir = /usr/local/mysql/
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = /usr/local/mysql/
innodb_buffer_pool_size = 256M
innodb_additional_mem_pool_size = 20M
innodb_log_file_size = 64M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash

[isamchk]
key_buffer = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

radius_main.log
Notice: Jan 16 21:06:19 AuthServer: Login OK <a.ternuk> from NAS <10.1.1.1> CLID <> Calling-station <192.168.1.118>
Notice: Jan 16 21:06:20 AuthServer: Login OK <a.ternuk> from NAS <10.1.1.1> CLID <> Calling-station <192.168.1.118>
Notice: Jan 16 21:06:21 AuthServer: Login OK <vorobei_ma> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.164>
Notice: Jan 16 21:06:22 AuthServer: Login OK <vorobei_ma> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.164>
Notice: Jan 16 21:06:29 AuthServer: Login OK <berezka_nv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.21.32>
Notice: Jan 16 21:06:31 AuthServer: Login OK <glotova_eo> from NAS <10.1.1.1> CLID <> Calling-station <192.168.76.5>
Notice: Jan 16 21:06:32 AuthServer: Login OK <varganov_aa> from NAS <10.1.1.1> CLID <> Calling-station <192.168.21.55>
Notice: Jan 16 21:06:32 AuthServer: Login OK <kruchenkov_iv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.54.25>
Notice: Jan 16 21:06:33 AuthServer: Login OK <petrenko_nv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.54.114>
Notice: Jan 16 21:06:33 AuthServer: Login OK <varganov_aa> from NAS <10.1.1.1> CLID <> Calling-station <192.168.21.55>
Warn : Jan 16 21:06:33 AuthServer: Unable to claim IP: No such file or directory
Notice: Jan 16 21:06:33 AuthServer: Login incorrect <petrenko_nv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.54.114>
Notice: Jan 16 21:06:33 AuthServer: Authorization failed for user <petrenko_nv>
Notice: Jan 16 21:06:35 AuthServer: Login OK <doronicheva_uag> from NAS <10.1.1.1> CLID <> Calling-station <192.168.41.101>
Notice: Jan 16 21:06:37 AuthServer: Login OK <doronicheva_uag> from NAS <10.1.1.1> CLID <> Calling-station <192.168.41.101>
Notice: Jan 16 21:06:38 AuthServer: Login OK <doronicheva_uag> from NAS <10.1.1.1> CLID <> Calling-station <192.168.41.101>
Notice: Jan 16 21:06:53 AuthServer: Login OK <kukuskin_ea> from NAS <10.1.1.1> CLID <> Calling-station <192.168.53.46>
Notice: Jan 16 21:06:54 AuthServer: Login OK <a.orlov> from NAS <10.1.1.1> CLID <> Calling-station <192.168.53.26>
Notice: Jan 16 21:06:58 AuthServer: Login OK <a.stogniev> from NAS <10.1.1.1> CLID <> Calling-station <192.168.3.23>
Notice: Jan 16 21:06:59 AuthServer: Login OK <kovalovskiy_ve> from NAS <10.1.1.1> CLID <> Calling-station <192.168.111.10>
Notice: Jan 16 21:07:10 AuthServer: Login OK <m.dgumaev> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.5>
Notice: Jan 16 21:07:11 AuthServer: Login OK <lyscku_ta> from NAS <10.1.1.1> CLID <> Calling-station <192.168.76.96>
Notice: Jan 16 21:07:11 AuthServer: Login OK <m.dgumaev> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.5>
Warn : Jan 16 21:07:11 AuthServer: Unable to claim IP: No such file or directory
Notice: Jan 16 21:07:11 AuthServer: Login incorrect <lyscku_ta> from NAS <10.1.1.1> CLID <> Calling-station <192.168.76.96>
Notice: Jan 16 21:07:11 AuthServer: Authorization failed for user <lyscku_ta>
Notice: Jan 16 21:07:12 AuthServer: Login OK <kruchenkov_iv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.54.25>
Notice: Jan 16 21:07:12 AuthServer: Login OK <berezka_nv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.21.32>
Notice: Jan 16 21:07:13 AuthServer: Login OK <kruchenkov_iv> from NAS <10.1.1.1> CLID <> Calling-station <192.168.54.25>
Notice: Jan 16 21:07:13 AuthServer: Login OK <a.ternuk> from NAS <10.1.1.1> CLID <> Calling-station <192.168.1.118>
Notice: Jan 16 21:07:16 AuthServer: Login OK <v.troyan> from NAS <10.1.1.1> CLID <> Calling-station <192.168.44.6>
Notice: Jan 16 21:07:17 AuthServer: Login OK <v.troyan> from NAS <10.1.1.1> CLID <> Calling-station <192.168.44.6>
Notice: Jan 16 21:07:18 AuthServer: Login OK <v.troyan> from NAS <10.1.1.1> CLID <> Calling-station <192.168.44.6>
Notice: Jan 16 21:07:19 AuthServer: Login OK <vorobei_ma> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.164>
Notice: Jan 16 21:07:20 AuthServer: Login OK <vorobei_ma> from NAS <10.1.1.1> CLID <> Calling-station <192.168.11.164>
Notice: Jan 16 21:07:22 AuthServer: Login OK <melnov_aa> from NAS <10.1.1.1> CLID <> Calling-station <192.168.41.132>
Warn : Jan 16 21:07:23 AuthServer: Unable to claim IP: No such file or directory
Notice: Jan 16 21:07:23 AuthServer: Login incorrect <melnov_aa> from NAS <10.1.1.1> CLID <> Calling-station <192.168.41.132>
Notice: Jan 16 21:07:23 AuthServer: Authorization failed for user <melnov_aa>
Notice: Jan 16 21:07:29 AuthServer: Login OK <lyscku_ta> from NAS <10.1.1.1> CLID <> Calling-station <192.168.76.96>
Notice: Jan 16 21:07:48 AuthServer: Login OK <a.orlov> from NAS <10.1.1.1> CLID <> Calling-station <192.168.53.26>
Warn : Jan 16 21:07:48 AuthServer: Unable to claim IP: No such file or directory
Notice: Jan 16 21:07:48 AuthServer: Login incorrect <a.orlov> from NAS <10.1.1.1> CLID <> Calling-station <192.168.53.26>
Notice: Jan 16 21:07:48 AuthServer: Authorization failed for user <a.orlov>
Notice: Jan 16 21:07:57 AuthServer: Login OK <gitlik_ra> from NAS <10.1.1.1> CLID <> Calling-station <192.168.102.6>

Blackmore

тюнить FreeBSD на предмет нетграфа и высокой нагрузки - в гугле полно примеров

mikkey finn

обновить Mpd хотя бы до 4.4? в 3.18 проблемы с авторизацией, она в общем потоке с остальной активностью. потому и тупит.

Blackmore

почему бы не поставить 5.2 мпд на 7.1 ? - вполне нормальный полет

Arti · Сообщение **Arti** » Сб янв 17, 2009 15:44

Не один здравомыслящий человек не будет совмещать NAS и сервер БД.

Если апгрейдить MPD, но надо понимать что у ветки 3 - полностью статический дизайн, у веток 4 - "с середины на половину", 5 ветка имет динамический дизайн. Соответственно 4 и особенно 5 ветке требуется более строгий контроль за целостностью данных в netgraph. Проблемы c защитой данных особено ярко проявляются на SMP. Ставить что-то ниже 7.1 и современные версии mpd - это мазохизм. На FreeBSD 6.2 mpd4 и mpd5 будут работать практически одинаково плохо.

mikkey finn

на 6.2 mpd4 терминировала 800 туннелей. Потом стала затыкаться. Поставил рядом пару 6.3/mpd5.2.

Chris · Сообщение **Chris** » Сб янв 17, 2009 20:25

Ata-man

Поставьте еще один радиус - на машину с биллингом и укажите в свойствах mpd оба радиуса - есть подозрение, что радиус не справляется и тормозит. В итоге авторизация отваливается по таймауту.

Chris · Сообщение **Chris** » Сб янв 17, 2009 22:50

в таком случае есть вариант, что не коректно будет работать услуга.. только один радиус знает про одного клиента, второй нет... а вот для разных услуг схема применима очень даже

JAO · Сообщение **JAO** » Вс янв 18, 2009 14:08

А на 800 туннелей я бы поставил уже два NAS и собрал из них кластер с балансировкой нагрузки. Либо кису. И FreeRadius. Другой вопрос - дадут ли мне это сделать? обычно ж как - что дадут, на том и едем.

И еще - thread_concurrency работает на фре? насколько мне известно, то только на соляре. А вот innodb_thread_concurrency работает на всех системах. И его я в приведенном конфиге MySQL что-то не вижу. И где query_cache_type=1? у вас кэш запросов работает или нет, и если да, то как? Из документации: A value of 1 or ON allows caching except of those statements that begin with SELECT SQL_NO_CACHE. В конфиг файл однако ж лучше цифру поставить, чем ON, OFF и тому подобное.

Да и неспособность радиуса обработать два запроса в секунду что-то настораживает.

Arti · Сообщение **Arti** » Пн янв 19, 2009 12:54

mikkey finn писал(а):Поставил рядом пару 6.3/mpd5.2.

В ряде случаем действительно связка 6.3/mpd5.2 - работает. Однако у меня под нагрузкой сервер начинал терять пакеты. Под нагрузкой я понимаю трафик не менее 50 Kpps суммарного internet-трафика.

Вообще есть смысл прислушивается к мнению разработчика.

У Мотина наверное уже макрос забит - "обновляйтесь до 7.1 (раньше писалось STABLE) 6.4 - минимум на что можно согласится, но потеряете в скорости"

JAO писал(а):А на 800 туннелей я бы поставил уже два NAS и собрал из них кластер с балансировкой нагрузки. Либо кису.

Я считаю что 800 туннелей не нагрузка вообще, особенно если не написано ничего кроме их количества.

Правда мне интересно другое: что подразумевается по кисой ? можно конкретные цифры - модель, необходимые модули и сколько потянет, желательно не теоритическое количество туннелей из документации, а общую "полезную" полосу которую можно прожевать.

JAO · Сообщение **JAO** » Пн янв 19, 2009 15:49

Про кису мне придется опытным путем выяснять, и когда это будет, и будет ли вообще - я не знаю. Я ее не могу просто так купить на свои деньги, собрать энное число людей в кучу, подключить их через эту одну кису и вести такие исследования. Я знаю только, что циска более приспособлена к серьезной нагрузке, чем роутеры на юниксе. Но это опять же зависит от того, что в нее натолкать.

lancelot

Проблема решена установкой MPD5

Blackmore

аминь

только на всякий случай ядрышко потюньте мало-мало на предмет нетграфа

mikkey finn

акромя options KVA_PAGES=512
и сисцтл/лодырь.конф :
kern.ipc.nmbcluster=32768
kern.ipc.maxsockbufs=2097152
kern.ipc.somaxconn=8192
kern.maxfiles=65536
kern.maxfilesperproc=32768
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65535
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535

net.graph.maxalloc=512
net.graph.maxdgram=45000
net.graph.recvspace=45000
Что еще рекомендуется?
ЗЫ: взял с сайта, есть еще чужие из фидошной конфы настройки. Там вроде немного под-другому(цифры)