FreeBSD 4+ Гб ОЗУ

hammer · Сообщение **hammer** » Пт фев 15, 2008 17:48

На севраке(FreeBSD 6.2 RELEASE) с ядром UTM 5.2.1-004(что то кстати подозрительно много помяти кушать стало) установил ( теперь камень Pentium i386) и 8 Гб ОЗУ... ну резонно фряха сказала типа твой 3+ Гб ОЗУ и гутбай. Вопрос как заставть фряху видеть весь объем памяти? options PAE ?

Почитал тут... http://freebie.miraclenet.co.th/server/install_fbsd/ почитал тут
http://www.ru.freebsd.org/doc/en_US.ISO ... onfig.html
и тутhttp://www.opennet.ru/openforum/vsluhfo ... 493.html#1 и вообще много где... готового и тупого отвента нет (аля options траляля # нужна чтобы...) вобщем в 2-х словах кто уже делал какие опции ядра дял платформы i386 надо врубить в ядро чтобы увиделся весь объем оперативки.

Magnum72

hammer писал(а):На севраке(FreeBSD 6.2 RELEASE) с ядром UTM 5.2.1-004(что то кстати подозрительно много помяти кушать стало) установил ( теперь камень Pentium i386) и 8 Гб ОЗУ... ну резонно фряха сказала типа твой 3+ Гб ОЗУ и гутбай. Вопрос как заставть фряху видеть весь объем памяти? options PAE ?

Почитал тут... http://freebie.miraclenet.co.th/server/install_fbsd/ почитал тут
http://www.ru.freebsd.org/doc/en_US.ISO ... onfig.html
и тутhttp://www.opennet.ru/openforum/vsluhfo ... 493.html#1 и вообще много где... готового и тупого отвента нет (аля options траляля # нужна чтобы...) вобщем в 2-х словах кто уже делал какие опции ядра дял платформы i386 надо врубить в ядро чтобы увиделся весь объем оперативки.

PAE мы так и не смогли толком запустить на фре в 32 режиме (запускается но работает не так как надо), а на 64 битной фре биллинг не работает , поэтому поставили федору 6 (теперь уже

на 16 гиговой машинке с 8 процами мускул занимает 8-12 гиг оперативки а утмка так как 32 битная 4гига но ей больше и не получится

kirk · Сообщение **kirk** » Пт фев 15, 2008 18:37

options pae

др вариантов нет

hammer · Сообщение **hammer** » Сб фев 16, 2008 01:26

Magnum72 писал(а):
hammer писал(а):На севраке(FreeBSD 6.2 RELEASE) с ядром UTM 5.2.1-004(что то кстати подозрительно много помяти кушать стало) установил ( теперь камень Pentium i386) и 8 Гб ОЗУ... ну резонно фряха сказала типа твой 3+ Гб ОЗУ и гутбай. Вопрос как заставть фряху видеть весь объем памяти? options PAE ?

Почитал тут... http://freebie.miraclenet.co.th/server/install_fbsd/ почитал тут
http://www.ru.freebsd.org/doc/en_US.ISO ... onfig.html
и тутhttp://www.opennet.ru/openforum/vsluhfo ... 493.html#1 и вообще много где... готового и тупого отвента нет (аля options траляля # нужна чтобы...) вобщем в 2-х словах кто уже делал какие опции ядра дял платформы i386 надо врубить в ядро чтобы увиделся весь объем оперативки.
PAE мы так и не смогли толком запустить на фре в 32 режиме (запускается но работает не так как надо), а на 64 битной фре биллинг не работает , поэтому поставили федору 6 (теперь уже на 16 гиговой машинке с 8 процами мускул занимает 8-12 гиг оперативки а утмка так как 32 битная 4гига но ей больше и не получится

Млин... сетевухи rl и re перестали работать... другие непробовал, но вот http://www.bsdportal.ru/viewtopic.php?t=16544 ситуацию 1 в 1 получил.. е мае... так что ж теперь линукс ставить что ли??? млин чё ж делать(но в линуксе свои прелести с PAE - он там просто по дефолту апосля 2.6.18(?) включен)... Господа разработчики а вот что делать теперь с биллингом когда объемы базы ещё больше увеличатся? Может стоит бинарничек то сделать на 64 битную платформу? Вобщем при наших нагрузках на биллинг проблема актуальна...

ЗЫ Хотя наверное оптимизации БД и дают ВРЕМЕННЫЕ решения проблеммы, но вот было бы неплхо для начала получить ядро с оптимизированными алгоритмами рабты с памятью на 32 битную платформу.

hammer · Сообщение **hammer** » Сб фев 16, 2008 01:30

Кстати я так понял PAE это жуткий кастыль для расширения разрядности с 32 до 36 бит... Жутко сырой и глючный.

Arti · Сообщение **Arti** » Вс фев 17, 2008 12:15

При запуске на на боле чем 4G есть много тонкостей.

Что сама сборка 32-битая понятно, но если рассчитывать эффективно использовать память, скажем для запущенного на той же машине SQL, то нужен "правильный" RAID-контроллер который умеет DMA в 64-битном режиме.

На IA32 единственным способом "расширения" области памяти доступной контроллеру это bounce buffer, реализация которого подразумевает копирование блоков памяти. Мы же не зато деньги отдаём чтобы процессор только и занимался тем, что елозил данные по памяти.

AMD64, на сколько мне известно, тоже не предлагает ничего нового в этом плане.

Кстати мне не совсем понятен вопрос с запуском на FreeBSD AMD64. Билинг совершенно точно запускается, правда расширенных тестов не гонял.

Для FreeBSD 7.0 AMD64 Запустить так:
поставить порт /usr/ports/misc/compat6x/

Взять из 32-х битной сборки пакетов libiconv и gettext библиотеки libiconv.so.3 libintl.so.6 и положить на пример в /usr/local/lib32/compat/ . Можно взять libintl.so.8 ( gettext-0.16.1_3), и добавить лишнюю строчку в libmap32.conf.

Сам файлик /etc/libmap32.conf примерно такой:

[/netup/utm5/bin/]
libintl.so.6 libintl.so.8
libpthread.so.2 libthr.so.2

Для 5.2.1-005 наверное понадобятся ещё библиотеки из 32-х битного пакета openssl 0.9.8

Проверяем /netup/utm5/bin/utm5_core - должен запустится, а не падать в кору

.

P.S.
hammer, а Вы случайно не даёте пользователям трей-клиент(ну или как там его)? Просто там не особо удачная реализация: на каждого клиента заводится по потоку, хотя сами потоки большую часть времени простаивают, но память при этом все равно используется.

hammer · Сообщение **hammer** » Вс фев 17, 2008 21:41

Arti писал(а): ...Взять из 32-х битной сборки пакетов libiconv и gettext библиотеки...

Кастыль... уже тут помоему пару тем было AMD64 и UTM... все заканчивались выводом - "зачем этот гемор"?

Arti писал(а): hammer, а Вы случайно не даёте пользователям трей-клиент(ну или как там его)?

И в мыслях небыло это чудо использовать - порт тупо закрыт фаерволом а абонеты даже не в курсе что такая утилита сущесвует - я уже несколько раз писал об этом на форуме. Все приучены в веб лазить - не слишком удобно, но зато проблемм меньше.

Arti · Сообщение **Arti** » Вс фев 17, 2008 22:20

hammer писал(а):
Arti писал(а): ...Взять из 32-х битной сборки пакетов libiconv и gettext библиотеки...
Кастыль... уже тут помоему пару тем было AMD64 и UTM... все заканчивались выводом - "зачем этот гемор"?

Немного не понял. В чём костыль то? Прога 32-х битная часть библиотек линкуется динамически:

Код: Выделить всё

tbil# ldd /netup/utm5/bin/utm5_core
/netup/utm5/bin/utm5_core&#58;
        libssl.so.4 => /usr/lib/libssl.so.4 &#40;0x28416000&#41;
        libcrypto.so.4 => /lib/libcrypto.so.4 &#40;0x28448000&#41;
        libcrypt.so.3 => /lib/libcrypt.so.3 &#40;0x28552000&#41;
        libz.so.3 => /lib/libz.so.3 &#40;0x2856b000&#41;
        libintl.so.6 => /usr/X11R6/lib/libintl.so.8 &#40;0x2857c000&#41;
        libiconv.so.3 => /usr/X11R6/lib/libiconv.so.3 &#40;0x2858e000&#41;
        libpthread.so.2 => /lib/libpthread.so.2 &#40;0x2867c000&#41;
        libstdc++.so.5 => /usr/lib/libstdc++.so.5 &#40;0x286a3000&#41;
        libm.so.4 => /lib/libm.so.4 &#40;0x28778000&#41;
        libc.so.6 => /lib/libc.so.6 &#40;0x2878e000&#41;

Ну соберите эти пакеты под IA32 (по-дифолту собирается под текущую архитектуру).

На самом деле костыль - это сама попытка запуска на боле 4Gb - польза для самого билинга около нулевая.

Если требуется действительно увеличить производительность, то прежде всего надо разнести билинг с SQL по разным машинам ну и может быть ещё отселить radius.

На счёт трей клиента я с Вами полностью солидарен - от него одни проблемы. Его неиспользование - просто ещё одна возможность освободить немного памяти.

hammer · Сообщение **hammer** » Пн фев 18, 2008 01:21

1 - почему костыль - поиск по форуму.

2 - MySQL и так на одельной тачке с 2 Opteron ами на борту и 8 Гб ОЗУ - используется как центральный сервак БД (по производительности там вопросв нет). Просто не только база биллинга там вертится - а вот когда отчет за парму месяцев надо сотавить по пользователям (за отрезок времени, когда база не оптимизирована), да ещё и вечерком, когда народ в Инете активно лазает - тогда у ядра в пике загрузка помяти больше 1 Гб сразу и радиус не далеко от него маячит - а вот очищать сразу память, после завершения задачи (покрайней мере ядро) они не спешат... Я так прикинул - в пике на процессы ядра и радиуса может быть до 4 Гб ОЗУ.
Ну я вообще я согласен - да ядро и радиус при таких нагрузках лучше держать на разных машинах, как вариант сервак с 3 Гб ОЗУ ТОЛЬКО на ядро (2 на ядро и 1 на "всякий случай").

Вобщем щас без PAE на 3,5 Гб ОЗУ пока бегает все, надо будет уберу радиус. А вот дальше видно будет...

ЗЫ в дургом топике про UTM и FreeBSD было сказано что ядро на i386 не собирается с MAXSDIZ="(2*1024*1024*1024)" - это верно (ошибка что то вроде overload integer или типа того) - а вот с MAXSDIZ="(2048ULL*1024*1024)" собирается.

Arti · Сообщение **Arti** » Пн фев 18, 2008 14:57

hammer писал(а):1 - почему костыль - поиск по форуму.

Ещё раз настоятельно рекомендую отделить мух от котлет. Сама попытка запуска - да костыль.

Удовлетворение зависимостей - костылём быть не может. Мы же не называем костылём, то что скажем gmplayer использует GTK2 для GUI и соответственно тащит его как зависимость и в последствии libgtk-x11-2.0.so.0 динамически линькуется при запуске.

Просто делать кросплатформенный билд ради пары библиотек - глупое занятие, кроме того я ничего не знаю об механизме ситемы портов, позволяющего "правильно" устанавливать пакеты собранные под IA32 в систему AMD64.

P.S.
2*1024*1024*1024 = 2^31 т.е. знаковый бит для 32 битного целого.

hammer · Сообщение **hammer** » Пн фев 18, 2008 18:18

Arti писал(а):
hammer писал(а):1 - почему костыль - поиск по форуму.
...Сама попытка запуска - да костыль.

Это и имелось ввиду. Просто резонный вопрос ЗАЧЕМ? Другое дело если других вариантов нет - а целенаправленно эти заниматься я особого смысла невижу.

Mental Noize

Можно рабочий конфиг либмапа и что нужно сделать? Что то вообще ничего не получается

FreeBSD 6.3-STABLE #0 amd64
Utm-5.2.1.004

amix · Сообщение **amix** » Чт июл 17, 2008 11:30

40180 root 156 54 -10 1021M 297M select 0 0:00 16.65% utm5_core
это 5.2.1.006
с 10k нетфлоу записей в секунду и около 8к подклассов трафика.
Может быть вам проще обновить билинг до 006, в котором оптимизирована работа с памятью?

Arti · Сообщение **Arti** » Чт июл 17, 2008 17:37

А чем конфиг выше не устраивает ?

8к подклассов трафика

Сильно. Кто-то из нас либо не понимает о чём речь, либо делает всё неправильно

amix · Сообщение **amix** » Пт июл 18, 2008 10:43

SELECT COUNT( * ) FROM t_class_detail WHERE `is_deleted` !=1
8114
Трафик msk-ix сетей классифицируется отдельно от остального

Форум компании NetUP

FreeBSD 4+ Гб ОЗУ

FreeBSD 4+ Гб ОЗУ

Re: FreeBSD 4+ Гб ОЗУ

Re: FreeBSD 4+ Гб ОЗУ