MPD 500 сесий и ошибки 619, 691, 731,

Blackmore

да пожалуй более ничего не требуется для сервера доступа

Arti · Сообщение **Arti** » Ср янв 21, 2009 13:42

Я бы поспорил бы на счет KVA_PAGES=512 и net.graph.maxalloc=512

Первая опция даёт увеличение адресного пространства ядра до 2 GB.

При этом из этого объёма в памяти по-умолчанию может находится не более vm.kmem_size - обычно 320 Мб.

Объёма 1Gb виртуальной памяти ядра для NAS думаю хватит, лучше позволить ядру использовать больше оперативки - уж точно не меньше 512.

т.е. на мой взгляд

vm.kmem_size=536870912
vm.kmem_size_max=536870912

более правильно в данной ситуации (здесь ядру отведено 512 Мб)

net.graph.maxalloc=512 - как-то совсем немного. Одно время предлагалось ставить это значение в 2 раза больше ожидаемого числа клиентов. Сейчас, как говорит разработчик, трогать эту опцию не обязательно. Лично у меня стоит net.graph.maxalloc=4096

mikkey finn

ну я не обеднею от того, что подарю ядру системы гиг озу. Планки все-равно на 2Г стоят. Меньше покупать смысла не вижу.

Arti · Сообщение **Arti** » Ср янв 21, 2009 14:12

mikkey finn писал(а):ну я не обеднею от того, что подарю ядру системы гиг озу. Планки все-равно на 2Г стоят. Меньше покупать смысла не вижу.

Нет. Вы подарили ядру 320 метров

все остальное уйдет в своп.

mikkey finn

я имел в виду, что задрав KVA_PAGES я по идее смело могу поднять kmem_size* до 1-1.5 гига. не так ли? Хотя есть ли смысл

ЗЫ: там свопа нет.

Arti · Сообщение **Arti** » Ср янв 21, 2009 14:23

Я считаю есть. Если клиентов переваливает за 1000 - 320Мб - маловато.

lancelot

На серваке 2Гига оперы
а вот при компиляции я забыл поставить KVA_PAGES=512

Получается щас нужно ставить и перекомпилить...
Какова вероятность что он _не_стартанет после компиляции..

mikkey finn

низкая, если kmem_size* не заданы слишком большими. То есть стартане. С дефолтным KVA_PAGES=256(по-моему) ядру доступен гиг памяти. Можете не перекомпилировать, а просто настройкой параметров отдать ядру 500-800МБ через эти самые kmem_size*.

В своей фразе "а смысл" я имел в виду необходимость отдать ядру гиг-полтора. У вас 512МБ сколько туннелей терминируется, есть ли mppe и какой pps через туннели?

lancelot

насколько я понял
mpd.conf
set ccp yes mppc
set mppc yes e40
set mppc yes e128
set mppc yes stateless

количество одновременных соединений в вечернее время от 500 до 1000

почти все они шейпятся
общая нагрузка на интернет через рутер до 30Мбит

lancelot

mikkey finn писал(а):У вас 512МБ сколько туннелей терминируется, есть ли mppe и какой pps через туннели?

аутентификация MS CHAP V2
шифрование стоит... но может убрать?

а как посмотреть PPS

как бы после установки MPD5
проблемы с авторизацией исчезли...
но нагрузка на проц возрасла... т.к. раньше шифрование небыло а щас поставил (сам не заметил)

в настоящий момент 410 тунелей
нагрузки инет 18Мбит

last pid: 38328; load averages: 2.12, 1.85, 1.57 up 1+14:42:01 17:13:42
66 processes: 2 running, 64 sleeping
CPU states: 16.3% user, 0.0% nice, 2.7% system, 20.7% interrupt, 60.3% idle
Mem: 112M Active, 890M Inact, 243M Wired, 16K Cache, 112M Buf, 757M Free
Swap: 4070M Total, 4070M Free

mikkey finn

У меня:

Код: Выделить всё

top -SC
last pid&#58; 87081;  load averages&#58;  0.21,  0.12,  0.09    up 6+05&#58;01&#58;20  20&#58;54&#58;33
77 processes&#58;  5 running, 55 sleeping, 17 waiting
CPU states&#58;  1.4% user,  0.0% nice,  1.2% system,  0.8% interrupt, 96.6% idle
Mem&#58; 30M Active, 10M Inact, 74M Wired, 816K Cache, 52M Buf, 1881M Free
Swap&#58;

Трафика маловато...

Код: Выделить всё

netstat -w1 -h
           input        &#40;Total&#41;           output
   packets  errs      bytes    packets  errs      bytes colls
      7.8K     0       3.8M       8.6K     0       4.6M     0
      7.5K     0       3.4M       8.4K     0       4.3M     0
      8.2K     0       3.7M       9.3K     0       4.8M     0
      8.1K     0       3.6M       9.1K     0       4.7M     0
      7.1K     0       3.3M       7.9K     0       4.2M     0
      6.2K     0       3.0M       6.9K     0       3.7M     0
      6.2K     0       3.1M       6.9K     0       3.8M     0
      7.7K     0       3.5M       8.5K     0       4.4M     0
      8.2K     0       3.7M       9.0K     0       4.5M     0

Код: Выделить всё

ifconfig -u | grep -c '^ng'
447

и 20% прерываний как-то душу не греют

lancelot

IBM x306 3.2GHz Гипертрейдинг

Код: Выделить всё

mail# ifconfig -u | grep -c '^ng'
562

Код: Выделить всё

llast pid&#58; 48297;  load averages&#58;  4.89,  4.71,  4.71                                                                                          up 1+19&#58;09&#58;03  21&#58;40&#58;44
117 processes&#58; 8 running, 88 sleeping, 21 waiting
CPU states&#58; 17.2% user,  0.0% nice,  3.4% system, 27.6% interrupt, 51.7% idle
Mem&#58; 118M Active, 890M Inact, 248M Wired, 16K Cache, 112M Buf, 746M Free
Swap&#58; 4070M Total, 4070M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME    CPU COMMAND
   10 root        1 171   52     0K     8K CPU1   0   0&#58;00 100.10% idle&#58; cpu1
   12 root        1 -44 -163     0K     8K WAIT   0 700&#58;27 31.01% swi1&#58; net
   13 root        1 -32 -151     0K     8K WAIT   0 466&#58;33 30.71% swi4&#58; clock sio
 4272 root        1 116    0  7168K  4292K RUN    0 179&#58;30 20.56% ndsad
 4160 root        1  97    0 40496K 39616K select 0  25&#58;15  1.03% named
   43 root        1  20    0     0K     8K syncer 0   2&#58;51  0.15% syncer
   11 root        1 171   52     0K     8K RUN    0  17.2H  0.00% idle&#58; cpu0
72960 root        4  20    0 42084K 18992K kserel 0  78&#58;21  0.00% mpd5

Код: Выделить всё

mail# netstat -w1 -h
            input        &#40;Total&#41;           output
   packets  errs      bytes    packets  errs      bytes colls
      9.5K     0       2.8M       9.6K     0       3.8M     0
      9.5K     0       2.8M       9.6K     0       3.8M     0
      9.2K     0       2.7M       9.6K     0       4.0M     0
      9.1K     0       2.8M       9.4K     0       3.8M     0
      9.7K     0       2.8M       9.4K     0       3.8M     0
      9.6K     0       2.7M       9.3K     0       3.5M     0
      9.4K     0       2.9M       9.3K     0       3.7M     0
       10K     0       2.8M       9.6K     0       3.7M     0
      9.7K     0       2.7M       9.6K     0       3.4M     0
      9.8K     0       2.7M       9.4K     0       3.6M     0
      9.5K     0       2.7M       9.7K     0       3.6M     0
       10K     0       2.8M       9.7K     0       3.5M     0
      9.4K     0       2.6M       9.6K     0       3.5M     0
      9.4K     0       2.7M       9.6K     0       3.7M     0
      9.2K     0       2.7M       9.3K     0       3.6M     0
      9.5K     0       2.7M       9.1K     0       3.4M     0
      9.6K     0       2.7M       9.5K     0       3.5M     0
      9.9K     0       2.8M       9.3K     0       3.4M     0

Код: Выделить всё

                   /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   >>>>>>>>>>>>>>>>>>>>>>>>>>

                    /0   /10  /20  /30  /40  /50  /60  /70  /80  /90  /100
root     idle&#58; cpu1 XXXXXXXXXXXXXXXX
             <idle> XXXXXXXXXXXXXXXX
root     swi4&#58; cloc XXXXX
root      swi1&#58; net XXXX
root          ndsad XXX
root            arp XX
mrtg           perl X
mrtg           perl

Arti · Сообщение **Arti** » Ср янв 21, 2009 19:43

У меня вперемешку pptp и ppoe, шифрования не требую, но и не отвергаю - т.е. обычно виндовый pptp клиент идет с шифрованием. NAS генерит netflow по входу и выходу.

Код: Выделить всё

nas1# netstat -hI bge1 1 &#40;смотрит в инет&#41;
            input         &#40;bge1&#41;           output
   packets  errs      bytes    packets  errs      bytes colls
       32K     0        26M        32K     0        20M     0
       32K     0        25M        32K     0        21M     0
       31K     0        24M        32K     0        21M     0
       31K     0        24M        32K     0        21M     0
       30K     0        24M        31K     0        20M     0
       30K     0        23M        31K     0        20M     0
^C
nas1# ifconfig | grep -c ng
941
nas1# netstat -h 1
            input        &#40;Total&#41;           output
   packets  errs      bytes    packets  errs      bytes colls
      133K     0        93M       131K     0        96M     0
      133K     0        94M       131K     0        97M     0
      132K     0        92M       130K     0        96M     0
      133K     0        93M       131K     0        97M     0
      138K     0        95M       138K     0       104M     0
      130K     0        90M       128K     0        96M     0

nas1# sysctl net.isr.direct
net.isr.direct&#58; 1

nas1# top -PS
last pid&#58; 91079;  load averages&#58;  0.60,  0.29, 0.23        up 27+11&#58;02&#58;21  19&#58;31&#58;13
82 processes&#58;  4 running, 64 sleeping, 14 waiting
CPU 0&#58;  1.9% user,  0.0% nice,  4.5% system, 65.2% interrupt, 28.5% idle
CPU 1&#58;  0.8% user,  0.0% nice,  1.5% system, 75.2% interrupt, 22.6% idle
Mem&#58; 253M Active, 328M Inact, 281M Wired, 12K Cache, 111M Buf, 133M Free
Swap&#58; 2048M Total, 1292K Used, 2047M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   12 root        1 -44    -     0K     8K WAIT   1 246.6H 52.20% swi1&#58; net
   23 root        1 -68    -     0K     8K CPU1   1 194.4H 45.46% irq17&#58; bge1
   11 root        1 171 ki31     0K     8K RUN    0 306.6H 36.67% idle&#58; cpu0
   13 root        1 -32    -     0K     8K WAIT   0 118.1H 30.96% swi4&#58; clock sio
   22 root        1 -68    -     0K     8K WAIT   0  83.2H 19.78% irq16&#58; bge0
   10 root        1 171 ki31     0K     8K CPU1   1 334.3H  8.59% idle&#58; cpu1
 1335 root        1  52    0 84476K 66024K select 1  24.2H  5.08% mpd5

С 9 по 11 часов вечера конешно по-веселее. Обычно клиентов больше 1000.

Понятно что netgraph работает в контексте прерывания и на него списывается всё время.

lancelot

ого... а что у вас за сервак... почему такая разница...
мой сервак в два раза слабее..
или я чего не понимаю

и это для чего?

Код: Выделить всё

sysctl net.isr.direct

у меня стоит 0

mikkey finn

на BSD7 net.isr.direct=1 по умолчанию. На шестерке оно вызывало у меня спонтанные ребуты. Хотя сеть работала веселее... Да.
Если у вас выключен фастфорвард, и isr, то я так понимаю маршрутизация происходит не в контексте прерывания, соответственно на полный путь пакета производится несколько переключений контекста.
Потому больше ресурсов потребляет.