В правилах классификации трафика возможно отрицание?

[wolf]

Собственно, сабж...
UTM-4 + ipcad
Например, можно ли сказать:
"со всех адресов, кроме 192.168.0.1" (! 192.168.0.1)
или:
"со всех портов, кроме 3128" (! 3128)

[Skylord]

Собственно, сабж...
UTM-4 + ipcad
Например, можно ли сказать:
"со всех адресов, кроме 192.168.0.1" (! 192.168.0.1)

Нет, так нельзя. Но можно создать класс с большим порядковым номером и внести туда этот адрес - тогда при классификации трафик будет попадать туда.
Грубо говоря - в дополнение к классу 10 "входящий", 20 "исходящий" и 1000 "локальный", создаешь класс 2000 "входящий веб-прокси" с описание адреса своего прокси, а в настройках тарифа плюсуешь его в входящим.

или:
"со всех портов, кроме 3128" (! 3128)

А для этого надо использовать netflow в связке с ndsad или последними ipcad, которые умеют смотреть порты.

[wolf]

а в настройках тарифа плюсуешь его в входящим.

Что значит плюсуешь? Если говоришь, что за входящие 1р за метр и за прокси - 1р за метр, то это понятно. Просто будут плюсоваться два тарифа. Или возможно как-то приплюсовать второй тариф к первому так, чтобы в результате остался один с общей суммой? Если знаете как реализовать второй вариант, то подскажите.

А для этого надо использовать netflow в связке с ndsad или последними ipcad, которые умеют смотреть порты.

Т.е. для портов отрицание все же возвожно?
И еще вопросы:
- с какой версии ipcad умеет работать с портами?
- почему не достаточно только нового ipcad, и к нему нужен еще netflow?
- что такое netflow?
- имеет ли ко всему этому какое-то отношение пакет netup_netflow_1.2?
- что нужно ставить и как настраивать, чтобы можно было работать с портами?
Если бы кто-нибудь кинул ссылочку, где можно почитать про настройку netflow в связке с ipcad (на русском языке), то я был бы очень благодарен. А то разрозненных упоминаний попадается очень много а толкового описания я так и не нашел.

[Skylord]

а в настройках тарифа плюсуешь его в входящим.

Что значит плюсуешь? Если говоришь, что за входящие 1р за метр и за прокси - 1р за метр, то это понятно. Просто будут плюсоваться два тарифа. Или возможно как-то приплюсовать второй тариф к первому так, чтобы в результате остался один с общей суммой? Если знаете как реализовать второй вариант, то подскажите.

Читай официальный мануал. Там об этом все написано. Если коротко: Тарифы - Класс трафика - Выражение для зависимости

А для этого надо использовать netflow в связке с ndsad или последними ipcad, которые умеют смотреть порты.

Т.е. для портов отрицание все же возвожно?

Нет. Возможно учитывать порты при классификации. Без netflow вообще нельзя.

И еще вопросы:
- с какой версии ipcad умеет работать с портами?

С третьих. Тогда же, когда появился экспорт в netflow.

- почему не достаточно только нового ipcad, и к нему нужен еще netflow?

Потому что формат Cisco ip accounting (или как там его?) не выдает в своей базовой инкарнации информацию о портах.

- что такое netflow?

http://www.google.com/search?q=netflow

- имеет ли ко всему этому какое-то отношение пакет netup_netflow_1.2?

Да, прямое.

- что нужно ставить и как настраивать, чтобы можно было работать с портами?

1) Установить коллектор ndsad/ipcad 3.x
2) Установить netup_netflow
3) Указать в utm.cfg netflow (или none, или ndsad) в качестве названия коллектора.

Если бы кто-нибудь кинул ссылочку, где можно почитать про настройку netflow в связке с ipcad (на русском языке), то я был бы очень благодарен. А то разрозненных упоминаний попадается очень много а толкового описания я так и не нашел.

Эээ... А чего там описывать? Почитай про саму технологию и все поймешь. ipcad шлет инфу о трафике в формате netflow. Программа netup_netflow инфу эту собирает и кладет в базу.
Применительно к utm - попользуй поиск на старом форуме old.netup.ru

[wolf]

Т.е. для портов отрицание все же возвожно?

Нет.

жаль...

1) Установить коллектор ndsad/ipcad 3.x
2) Установить netup_netflow
3) Указать в utm.cfg netflow (или none, или ndsad) в качестве названия коллектора.

В субботу буду экспериментировать.
Итак,имею:
1. ipcad-3.6.6
2. netup_netflow_1.2
3. желание установить ipcad+netflow
Что собираюсь сделать:
1. установить ipcad-3.6.6
Здесь уже появились вопросы:
- устанавливать можно поверх предыдущего?
- для работы ipcad требуется библиотека libcap. У меня стоит версия 1.10-12. Подойдет? Или нужно искать и устанавливать более свежую версию?
2. установить netup_netflow_1.2.
Поскольку ничего про установку не нашел, то вопросов пока нет. Хотя есть... Какие могут быть подводные камни, на что обратить внимание.
3. В utm.cfg заменить collector_tupe=ipcad на collector_tupe=netflow/
строку collector_path= можно оставить без измегнения, или обязательно нужно прописывать путь до netflow?
4. В старом форуме наткнулся на топик, где говорится, что в utm.cfg обязательно должен быть прописан путь к сокету mysql, т.е. в конец файла (или нужно вставлять в какое-то определенное место?) utm.cfg добавляем строку:
sock_path=/var/lib/mysql/mysql.sock
5. В другом топике прочитал, что у кого-то ничего не работало, потому что в файле ipcad.conf отсутствовала строка:
rsh timeout=15
у меня эта строка есть, только у меня таймаут=30. Какой таймаут лучше выставить?

Эээ... А чего там описывать?

Вот начитаешься в конференции этих ужастиков, и возникает страстное (и к сожалению неудовлетворенное) желание найти где-нибудь толковое описание прцедуры установки и настройки и почитать его перед тем как начать что-либо делать.

[Skylord]

Эээ... А чего там описывать?

Вот начитаешься в конференции этих ужастиков, и возникает страстное (и к сожалению неудовлетворенное) желание найти где-нибудь толковое описание прцедуры установки и настройки и почитать его перед тем как начать что-либо делать.

Гы! Нет таковых. Хотя в официальной доке про Нетфлоу есть... Но с коллектором ndsad, который имеет плохое свойство переставать считать при большой загрузке...
Для начала коротко о самой системе. ipcad считает трафик и сбрасывает его по udp в формате netflow программе netup_netflow, которая слушает 9996 порт. Программа в реальном времени складирует информацию в базу данных помимо количества байт сохраняя и все остальные возможные поля предусмотренные спецификацией netflow. Версия 1.2 помимо этого в реальном же времени производит классификацию трафика в соответствии с настройками УТМ (столбец tclass - или как там его? - в таблице traffic_netflow не пустой), что позволяет запускать tsave с параметром "-c fast" (без кавычек) - это отключает классификацию трафика обработчиком - он тогда просто раскладывает его по юзерам, что, естественно, происходит быстрее.
Возможные подводные камни:
1) ipcad не поддерживает динамически создаваемые интерфейсы tun - т.е. vpn под FreeBSD в реализации через poptop. Необходимо все туннели прописать в конфиге и кроме того, они все должны быть созданы (видны в ifconfig) перед запуском ipcad - как это сделать опИсано в разделе этого форума "Документация" - я там темку создавал...
2) Проверять работу ipcad можно через rsh (типа, запустить rsh localhost status и убедиться, что что-то считается), а также поставив tcpdump слушать порт 9996 - если на него идут udp пакеты, значит ipcad отдает инфу в netflow.
3) Работу netup_netflow проще всего проверить по состоянию таблицы traffic_netflow в базе данных. Прямо перейди в ее каталог и посмотри на размеры соответствующих файлов - они должны постоянно увеличиваться.
4) ipcad имеет неприятную особенность иногда падать в корку. Лечится простейшим вочдогом типа такого:
#!/bin/sh
# ipcad watchdog
echo $$ > /var/run/ipcad_wd.pid
while [ -f /var/run/ipcad_wd.pid ]
do
/usr/local/bin/ipcad -rs > /var/log/ipcad.log 2>&1
done

в бзде скрипт для запуска/останова например такой:
#!/bin/sh
# ipcad startup script example.

case "$1" in
start)
if [ -x /usr/local/etc/ipcad.sh -a -f /usr/local/etc/ipcad.conf ]; then
/usr/local/etc/ipcad.sh &
echo -n ' ipcad'
fi
;;
stop)
/bin/kill `cat /var/run/ipcad_wd.pid`
rm -f /var/run/ipcad_wd.pid
/usr/bin/killall ipcad && /bin/echo -n ' ipcad'
;;
restart)
$0 stop
$0 start
;;
*)
/bin/echo "Usage: `basename $0` {start|stop}" >&2
exit 64
;;
esac

exit 0

Программер (даже на шелле) из меня не Бог весть какой, так что за скрипты не пинать.
5) Не знаю, чего там особенного с utm.cfg.... У меня конфиг такой:
#NetUP UTM ver 4.0 config file
database=UTM
database_type=mysql
database_host=localhost
database_login=
database_password=
database_path=/usr/local
icard_database_type=mysql
icard_database_login=
icard_database_password=
icard_database=UTM
icard_database_host=localhost
check_tables=1
cgi_bin_path=/usr/local/www/cgi-bin
html_docs_path=/usr/local/www/data
graph_path=/usr/local/www/data/utm_graph
template_path=/usr/local/www/cgi-bin/utm/template
utm_path=/netup
sudo_path=/usr/local/bin/sudo
sock_path=/tmp/mysql.sock
firewall_type=ipfw
firewall_path=/sbin/ipfw.sh
collector_type=netflow
collector_path=
collector_iface=xl0
collector_host=127.0.0.1
#netflow_address=192.168.0.10
netflow_port=9996
netflow_file=/tmp/tmp/netflow.tsave
netflow_rc=/usr/local/etc/rc.d/002-netup_netflow.sh
admin_email=root
user_session_timeout=100
lang=ru
bytes_in_mbyte=1048576
backup_path=/mnt/backup/base
aaa_pl=aaa
stat_pl=utm_stat
users_pl=admin
adduser_ext_program_path=/usr/local/bin/sudo /usr/local/etc/add_utm_user.sh
change_ext_program_path=/usr/local/bin/sudo /usr/local/etc/change_utm_user.sh
delete_ext_program_path=/usr/local/bin/sudo /usr/local/etc/delete_utm_user.sh
arp_path=/usr/sbin/arp
password_store_method=plain_text
#radius_secret_key=
#radius_host=192.168.1.1
vpn_file_format=freebsd
vpn_file=/etc/ppp/ppp.secret
lock_exit=1

Тут много лишнего (например, ключ netflow_file твой УТМ просто не поймет, но он тебе и не нужен пока ), но сие пашет вполне нормальненько.

6) ipcad.cfg примерно такого плана:
# не пугайся, что оно disabled - это только для rsh, к netflow отношения не имеет
capture-ports disable;
interface tun0;
interface tun1;
interface tun2;
interface tun3;
interface tun4;
interface tun5;
interface tun6;
interface tun7;
interface tun8;
interface tun9;
interface tun10;
...
# и такой фигни - полторы сотни штук....

netflow export destination 127.0.0.1 9996;
netflow export version 5; # NetFlow export format version {1|5}
netflow timeout active 30; # Timeout when flow is active, in minutes
netflow timeout inactive 15; # Flow inactivity timeout, in seconds

rsh enable at 127.0.0.1;
rsh root@127.0.0.1 admin;
dumpfile = ipcad.dump;
chroot = /tmp;
pidfile = ipcad.pid;
memory_limit = 2m;

.............

Вот-с. Такие дела...

[wolf]

Эксперимент не удался. Привожу подробный отчет о том, что делал, и как обломался. На нумерацию пунктов не обращайте внимания. Просто это последние записи из дневника, который ведется с того момента, как я впервые (в январе) начал установку линукса на сервере и его настройку (и для того, чтобы можно было повторить то, что один раз уже было сделано).
13. Замена коллектора для сбора статистики.
Цель: поставить связку ipcad-3.х+netflow, чтобы можно было при классификации трафика учитывать порты и интерфейсы.
13.1. Помним мудрый девиз: «главное не навредить!», поэтому первым делом создаем копии тех конфигурационных файлов, которые будут меняться:
/netup/utm/utm.cfg
/usr/local/etc/ipcad.conf
/etc/crontab
/etc/rc.d/rc.local
13.2. Скачиваем и ставим последнюю версию ipcad:
tar xvfz ipcad-3.6.6.tar.gz
cd ipcad-3.6.6
./configure
make
make install
13.3. Устанавливаем netup_netflow_1.2.
13.3.1. Распаковываем дистрибутив:
tar xvfz netup_netflow_1.2_09_24_03.tgz
13.3.2. …и убеждаемся, что на слово «дистрибутив» он не тянет. В архиве оказался только один исполняемый файл. А как его устанавливать? Где описалово? Где обещанный watchdog, наконец? Ничего не остается, как просто заменить существующий исполняемый файл на новый.
13.3.3. Копируем файл netup_netflow из каталога, куда он разархивировался /usr/local/src/netup_netflow_1.2_09_24_03/linux/ и заменяем им уже существующий файл в каталоге /netup/utm/bin/netup_netwlow/.
13.4. Создаем в MySQL в базе UTM отсутствующую там и необходимую для корректной работы таблицу traffic_tmp_sum. (Так как с MySQL работать не умею, то табличку пришлось создавать через ногу (с помощью Webmin)).
13.4.1. Создаем текстовый файл следующего содержания:
CREATE TABLE traffic_tmp_sum (
ip_from char(20) NOT NULL default '',
ip_to char(20) NOT NULL default '',
bytes_data double NOT NULL default '0',
bytes_all double NOT NULL default '0',
ftime int(11) NOT NULL default '0',
ltime int(11) NOT NULL default '0',
t_class int(10) unsigned NOT NULL default '0',
uid int(10) unsigned NOT NULL default '0',
nexthop int(10) unsigned NOT NULL default '0',
input smallint(5) unsigned NOT NULL default '0',
output smallint(5) unsigned NOT NULL default '0',
packets int(10) unsigned NOT NULL default '0',
First int(10) unsigned NOT NULL default '0',
Last int(10) unsigned NOT NULL default '0',
srcport smallint(5) unsigned NOT NULL default '0',
dstport smallint(5) unsigned NOT NULL default '0',
pad tinyint(3) unsigned NOT NULL default '0',
tcp_flags tinyint(3) unsigned NOT NULL default '0',
prot tinyint(3) unsigned NOT NULL default '0',
tos tinyint(3) unsigned NOT NULL default '0',
src_as smallint(5) unsigned NOT NULL default '0',
dst_as smallint(5) unsigned NOT NULL default '0',
src_mask tinyint(3) unsigned NOT NULL default '0',
dst_mask tinyint(3) unsigned NOT NULL default '0',
KEY uid (uid,t_class,ftime,ltime)
) TYPE=MyISAM;
13.4.2. Через Webmin входим в сервер баз данных MySQL.
13.4.3. Входим в базу данных UTM.
13.4.4. Нажимаем кнопку «Исполнить SQL».
13.4.5. Ставим галку «Из загружаемого файла».
13.4.6. В обзоре выбираем свой файл (Кстати, это интересно – Webmin запускаю не с сервера, а срабочей станции, и файл находится тоже не на линуксовом сервере, а на моей виндовой машине).
13.4.7. Нажимаем кнопку «Исполнить».
13.4.8. Выходим из базы данных UTM и входим снова – убеждаемся, что в базе появилась новая таблица с именем traffic_tmp_sum и с нужной структурой.
13.5. Перезагружаем сервер, и проверяем биллинг. Убеждаемся, что у нас пока все работает, трафик считается правильно.
13.6. Редактируем конфигурационные файлы.
13.6.1. Для автозапуска netup_netflow в файл /etc/rc.d/rc.local добавляем строку:
/netup/utm/bin/netup_netflow/netup_netflow &
13.6.2. В файле /etc/crontab в строку запуска tsave добавляем параметр “-c fast”. Теперь вся строка выглядит так:
0,4,6,12,16,20,24,28,32,36,40,44,48,52,56 * * * * root /netup/utm/bin/tsave -c fast >/dev/null 2>/dev/null
13.6.3. Редактируем файл /usr/local/etc/ipcad.conf.
13.6.3.1. В файл добавляем строки:
netflow export destination 127.0.0.1 9996;
netflow export version 5;
netflow timeout active 30;
netflow timeout inactive 15;
13.6.3.2. Строку:
interface eth0 promisc;
Заменяем на:
interface eth0 netflow-sampled
13.6.3.3. Теперь файл выглядит так:
#Created: Sun Feb 20 00:54:05 2005
interface eth0 netflow-sampled
#interface eth0 promisc;
netflow export destination 127.0.0.1 9996;
netflow export version 5;
netflow timeout active 30;
netflow timeout inactive 15;
rsh enable;
rsh root@127.0.0.1 admin;
memory_limit = 16m;
chroot = /netup/utm/traflog;
dumpfile = ipcad.dump;
ttl = 3;
rsh timeout = 30;
# -- end --
13.6.4. Редактируем файл /netup/utm/utm.cfg/
13.6.4.1. Прописываем путь к сокету mysql:
sock_path=/var/lib/mysql/mysql.sock
13.6.4.2. Заменяем коллектор:
collector_tupe=netflow
13.6.4.3. Задаем значение порта для прослушивания NetFlow:
netflow_port=9996
13.6.4.4. Теперь файл выглядит так:
#NetUP UTM ver 4.0 config file
#Created: Sun Feb 20 00:52:40 2005
database=UTM
database_type=mysql
database_host=localhost
database_login=root
database_password=
database_path=/usr
icard_database_type=mysql
icard_database_login=root
icard_database_password=
icard_database=UTM
icard_database_host=localhost
cgi_bin_path=/var/www/cgi-bin
html_docs_path=/var/www/html
graph_path=/var/www/html/utm_graph
template_path=/var/www/cgi-bin/utm/template
utm_path=/netup
sudo_path=/usr/bin/sudo
sock_path=/var/lib/mysql/mysql.sock
firewall_type=iptables
firewall_path=/sbin/iptables
# collector_type={trafd ipcad accounting netflow none nacctd ipacctd}
collector_type=netflow
collector_path=
collector_iface=eth0
collector_host=127.0.0.1
newflow_port=9996
admin_email=root
user_session_timeout=100
lang=ru
bytes_in_mbyte=1048576
backup_path=/netup/utm/archive
aaa_pl=aaa
stat_pl=utm_stat
users_pl=admin
adduser_ext_program_path=
#next string - utm mac-ardess control
arp_path=/sbin/arp
# -- end --
13.7. Перезагружаем сервер, и проверяем биллинг. Ни фига не пашет. Трафик не считается.
13.8. Времени на эксперименты нет, т.к. сервер боевой, поэтому по быстрому заменяем обратно все конфиги и снова перезагружаем сервер.
13.9. Проверяем. Все в порядке, биллинг опять заработал.
13.10. Пока не забыли, что делали, пишем этот отчет.
13.11. Начинаем чесать репу.
Что сделано не так?
Что не сделано из того, что нужно было сделать?
Или сделано что-то, чего не нужно было делать?
Опять залез в Webmin и просмотрел некоторые таблицы в базе UTM. Таблица traffic_netflow пустая. А таблица traffic_tmp_sum мало того что пустая, так еще: «Данные в этой таблице не могут редактироваться, так как в ней нет первичного ключа». Интересно, зачем нужна таблица, данные в которой не могут редактироваться? Или я, все-таки не правильно ее создал? Но в базе кроме этой, ведь, есть еще такие же таблицы (данные в которых не могут редактироваться), например таблицы traffic_tmp и whost_row.

[Skylord]

13.3.1. Распаковываем дистрибутив:
tar xvfz netup_netflow_1.2_09_24_03.tgz
13.3.2. …и убеждаемся, что на слово «дистрибутив» он не тянет. В архиве оказался только один исполняемый файл. А как его устанавливать? Где описалово? Где обещанный watchdog, наконец? Ничего не остается, как просто заменить существующий исполняемый файл на новый.

Эээ.. А тебе кто-то обещал "дистрибутив"? netup_netflow - это не отдельный продукт (ибо отдельно он никому не нужен), компонент УТМа. Соотвественно, версия 1.2 - это обноление для компонента. На фига тут инсталлятор и прочая фигня?
Описание - в документации на УТМ. watchdog - встроенный.

13.5. Перезагружаем сервер, и проверяем биллинг. Убеждаемся, что у нас пока все работает, трафик считается правильно.

А перезагружать-то зачем? Целый сервер с биллингом... Ужас!

13.6. Редактируем конфигурационные файлы.
13.6.1. Для автозапуска netup_netflow в файл /etc/rc.d/rc.local добавляем строку:
/netup/utm/bin/netup_netflow/netup_netflow &

Его не надо отправлять в бэкграунд руками. Если мне не изменяет память, он туда сам идет.

13.6.2. В файле /etc/crontab в строку запуска tsave добавляем параметр “-c fast”. Теперь вся строка выглядит так:
0,4,6,12,16,20,24,28,32,36,40,44,48,52,56 * * * * root /netup/utm/bin/tsave -c fast >/dev/null 2>/dev/null

Или у тебя только два десятка пользователей с ма-а-аленьким трафиком или машина - чиста крутой сервер. А учитывая еще и то, что судя по нижеприведенному конфигу, твой УТМ плюет на lock'и, никак не могу согласиться с правильным выбором интервалов запуска.

13.6.3. Редактируем файл /usr/local/etc/ipcad.conf.
13.6.3.2. Строку:
interface eth0 promisc;
Заменяем на:
interface eth0 netflow-sampled

На фига?????? Ты хорошо знаешь технологию netflow и можешь дать точное определение тому, что такое netflow-sampled? Ты в комментариях в конфиге прочитал, что про это написано? А я зря свой заведомо рабочий конфиг приводил? Убери эту гадость на фиг.
Строка
interface eth0;
тебя совершенно устроит.

13.7. Перезагружаем сервер, и проверяем биллинг. Ни фига не пашет. Трафик не считается.

В этом и есть твоя ошибка. Нельзя так тестировать изменения в сервере. Не надо было ничего перезагружать. Правильный порядок действий:
1) Закомментировать в crontab все, что касается запуска tsave и сделать kill -HUP на cron, чтобы он не запускал обработчик.
2) Запустить netup_netflow. Просто подойти к нему и запустить. Посмотреть что он выведет на экран - может ругается на что. Посмотреть в списке процессов наличие ДВУХ netup_netflow (основной и watchdog). Посмотреть по sockstat наличие висящего на 9996 порту netup_netflow.
3) Перезапустить ipcad с включенными установками на отправку инфы по netflow. Запустить tcpdump на -i lo0 с портом 9996 и посмотреть наличие udp-трафика.
4) Посмотреть внутри каталога базы данных - увеличивается таблица traffic_netflow.
5) Посмотреть содержимое таблицы - столбец tclass не должен быть пустой.
6) Изменить конфиг tsave, чтобы брал инфу из netflow
7) Пойти и РУКАМИ запустить tsave с параметром -c fast, отправив вывод в файл, чтобы потом почитать. Там должны быть строки:
Command: fast. Updating traffic_tmp ftime ...
Starting netflow data calculating ...
Don't making traffic classify ... Command opt_c:fast

Вот сделай именно так и скажи на каком этапе и какие именно появляются проблемы. "Ни фига не пашет. Трафик не считается." - это НЕ объяснение.
А вообще, судя по всему, мое предыдущее сообщение ты проигнорировал не прочитав, ибо там все это опИсано и указано. Разве что без порядка действий... Но мы ведь, вроде как, админы, а не юзеры которым надо по шагам объяснять.

Сделай так, как написано выше и отпиши результаты.

[wolf]

А перезагружать-то зачем? Целый сервер с биллингом... Ужас!

Вообщем-то в данном случае никакой необходимости не было. Просто, чтобы не было никаких сомнений. "Целый" - про мой сервер это очень громко сказано. Нас тут в сети всего 8 калек. Да и те пока все "свои". Так, что предупредить всех и перезагрузиться - никаких проблем.

Или у тебя только два десятка пользователей с ма-а-аленьким трафиком или

так и есть. Так, что пусть пока обработчик запускается с интервалом 4 минуты.

На фига?????? Ты хорошо знаешь технологию netflow и можешь дать точное определение тому, что такое netflow-sampled?

Вот как раз от незнания так и сделал. Просто в конфе пару раз мелькали именно такие строки в конфиге - вот и с обезъянничал.

Строка
interface eth0;
тебя совершенно устроит.

Может быть это и есть моя главная ошибка?

В этом и есть твоя ошибка. Нельзя так тестировать изменения в сервере. Не надо было ничего перезагружать. Правильный порядок действий:

Высший пилотаж! Ночью по горячим следам написал и отправил свое сообщение. Сегодня днем полез, как раз с целью уточнить и задать вопрос о правильном попядке действий и уже (так и не успев задать)получил на него ответ!
Но один вопрос все же есть. Пункт второй, наверное, все-таки можно выполнить перед первым? Т.е. на работающем сервере просто запустить netup_netflow. Ну и неспеша смотреть процессы.

6) Изменить конфиг tsave, чтобы брал инфу из netflow

А вот этого я и не делал. Где этот конфиг искать и что конкретно в нем править? Что-то мне нигде не попалось упоминание об этом конфиге, или, скорее всего, я это пропустил.

Вот сделай именно так и скажи на каком этапе и какие именно появляются проблемы

Спасибо за советы именно так все и сделаю. Правда теперь не знаю когда сумею добраться до сервера.

А вообще, судя по всему, мое предыдущее сообщение ты проигнорировал не прочитав

Как раз очень внимательно прочитал. Просто хотел все и сразу, а получилось как всегда...

Но мы ведь, вроде как, админы, а не юзеры которым надо по шагам объяснять.

Админы, тоже бывают разные. Я, как говорится, только учусь.
Я же вроде писал, что в январе впервые поставил на сервер линукс. А потом 2 недели трахался то с одним дистрибутивом, то с другим. Потом 2 недели пытался прикрутить ADSL модем (Причем, сдуру, выбрал USB-модем - это при нулевых-то начальных знаниях Unix=систем!). Потом - спутниковая антенна, файерволл, прокси. И все с нуля. Так, что интернет появился в нашей сети всего месяц назад. Короче, проблем хватало. При этом UTM-4 в своей конфигурации по умолчанию, встал сразу и без проблем. Что-то там считал. Так, что в этом направлении я стал копать в последнюю очередь - только сейчас.

[Skylord]

Но один вопрос все же есть. Пункт второй, наверное, все-таки можно выполнить перед первым? Т.е. на работающем сервере просто запустить netup_netflow. Ну и неспеша смотреть процессы.

Да можно, кто ж мешает... Если настройки utm.cfg не менять, то tsave из traffic_netflow брать ничего не будет. Но ты учти вот что: у тебя работает биллинг, забирает инфу от ipcad'а в rsh, а в этом время одновременно netup_netflow ту же инфу складывает в базу. Так что, дабы не возникло "пересчитанного" трафика, перед вводом в реальную эксплуатацию надо будет удалить все из traffic_netflow...

6) Изменить конфиг tsave, чтобы брал инфу из netflow

А вот этого я и не делал. Где этот конфиг искать и что конкретно в нем править? Что-то мне нигде не попалось упоминание об этом конфиге, или, скорее всего, я это пропустил.

Эээ... Возможно, я не так выразился. Имелся в виду файл utm.cfg.

Но мы ведь, вроде как, админы, а не юзеры которым надо по шагам объяснять.

Админы, тоже бывают разные. Я, как говорится, только учусь.
Я же вроде писал, что в январе впервые поставил на сервер линукс. А потом 2 недели трахался то с одним дистрибутивом, то с другим.

Гы! Вот как раз после этих твоих слов, я могу вполне аргументированно пропиарить FreeBSD, но не буду, ибо это как всегда - повод для флейма.

[wolf]

Так что, дабы не возникло "пересчитанного" трафика, перед вводом в реальную эксплуатацию надо будет удалить все из traffic_netflow...

Т.е. просто после экспериментов почистить таблицу... Хорошо, буду иметь в виду.

Эээ... Возможно, я не так выразился. Имелся в виду файл utm.cfg.

А я уже полез искать конфиг... и, естественно, не нашел.

Гы! Вот как раз после этих твоих слов, я могу вполне аргументированно пропиарить FreeBSD

Не, уже поздно (для меня). На самом деле 4 месяца - это очень большой срок при общении с системой, даже если делаешь это в свободное от работы время.
Ну, тогда NetFlow проверю в самое ближайшее время, возможно уже завтра, а вот когда доберусь до остального не знаю. Тоже попробую сделать на неделе - до субботы откладывать не охота.
Тут возникла еще одна засада. Возможно мне придется переносить базу MySQL на другой диск. Путь до базы прописан только в одном месте - в файле mysql_config? Или может оказаться еще где нибудь?

[wolf]

Вчера вечером все сделал по заранее намеченному плану, закончил поздно ночью. Вроде что-то заработало и я с чистой совестью пошел спать. Сегодня, когда вернулся с работы, первым делом проверил суммарный трафик. Точно пока ничего сказать не могу, но трафик примерно совпадает с тем, что выдает ifconfig и с вышестоящими (их два – наземный и спутниковый) провайдерами. Больше ничего не проверял, так что есть ли какая-нибудь польза от моих стараний – пока не знаю. А теперь обещанный отчет по порядку:
1. Выгнал всех юзеров и отключил (физически) коммутатор, на котором остались сервер и два компа (с ними потом и экспериментировал) от остальной локальной сети.
2. Отключил обработчик в crontab.
3. Запустил netup_netflow. Запустился нормально, ни на что не ругался. При запуске выдал строчки:
#WatchDog: Dog waken…
WatchDog: child [2170] started on Wed Apr 27 00:00:46 2005
Netup NetFlow collector ver. 1.2 started
Listening on 9996
4. Дал команду ps –Af. Полюбовался на два процесса netup_netflow.
5. Залез в rc.local и убедился, что сам netup_netflow в него ничего не прописывает. Прописал ручками. Точнее снял комментарий со строки, которую добавлял туда раньше. И в этот момент ясно вспомнил, что когда прошлый раз добавил строку для запуска netup_netflow, я машинально закомментировал команду для запуска ipcad… Вобщем, трудно быть деревянненьким!!! После того, как нашел ошибку, пришлось сделать над собой усилие, чтобы подавить желание опять все сделать одним махом и сразу.
6. Исправил ipcad.conf, и перезапустил ipcad. Теперь конфиг у меня такой:
#Created: Sun Feb 20 00:54:05 2005
interface eth0;
netflow export destination 127.0.0.1 9996;
netflow export version 5;
netflow timeout active 30;
netflow timeout inactive 15;
rsh enable at 127.0.0.1;
rsh root@127.0.0.1 admin;
memory_limit = 16m;
chroot = /netup/utm/traflog;
dumpfile = ipcad.dump;
ttl = 3;
rsh timeout = 30;
# -- end --
7. Дал команду tcpdump –i lo port 9996. Убедился, что идут udp пакеты на порт 9996.
8. Залез в таблицу traffic_netflow. Таблица заполняется, поле t_class – не пустое.
9. Поменял конфиг UTM на новый (приводил раньше). Перезагрузился.
10. Запустил руками tsave с параметром –c fast, отправив вывод в файл. Сразу посмотрел таблицу traffic_netflow – она очистилась. Вот содержимое файла (вывода tsave):
NetUP UTM tsave: creating lock file ...
Collector none or netflow
NetUP UTM tsave: deleting lock file ...
Starting traffic.tmp parser!
Current hour:0 min:38
NetUP UTM main: creating lock file ...
NetUP UTM version 4.0 [1 +update 07 july 2003]
Registered to: owned by M.A.X
Command: fast. Updating traffic_tmp ftime ...
Summary rows reading from traffic.tmp: 0 inserted: 0 rows
Starting netflow data calculating ...
Starting web-hosting data calculating ...
Don't making traffic classify ... Command opt_c:fast
Discount period ended for user: 1
Command: fast. Skipping assign traffic to user: 1...
PREPRING TRAFFIC HASH: User id:1 login:init ip:192.168.0.1 tc_id:1000 bytes:43771
tc_formula_final = already_download: already_tc_id:
FINAL HASH: download:43771 tc_id:1000 price:0
discount: 0
DO_SEND:0 RESULT:0 UID:1
user_email:
UID: 1 TID: 1000
We have expired discount period. Subscription fee not discounted !
services_discount:1 uid:1

Command: fast. Skipping assign traffic to user: 2...
PREPRING TRAFFIC HASH: User id:2 login:Tory ip:192.168.0.47 tc_id:20 bytes:5054
PREPRING TRAFFIC HASH: User id:2 login:Tory ip:192.168.0.47 tc_id:1000 bytes:241927
tc_formula_final = already_download: already_tc_id:
FINAL HASH: download:241927 tc_id:1000 price:0
tc_formula_final = 278753476 already_download:278753476 already_tc_id:
PRICE: 0 bytes_border:0
FINAL HASH: download:5054 tc_id:1000 price:0
FINAL HASH: download:5054 tc_id:20 price:0
discount: 0
DO_SEND:0 RESULT:0 UID:2
user_email:w2000inc@mail.ru
discount: 0
DO_SEND:0 RESULT:0 UID:2
user_email:******@mail.ru
UID: 2 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:2

Command: fast. Skipping assign traffic to user: 3...
UID: 3 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:3

Command: fast. Skipping assign traffic to user: 4...
UID: 4 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:4

Command: fast. Skipping assign traffic to user: 5...
UID: 5 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:5

Command: fast. Skipping assign traffic to user: 6...
PREPRING TRAFFIC HASH: User id:6 login:Dagron ip:192.168.0.46 tc_id:7 bytes:169216
PREPRING TRAFFIC HASH: User id:6 login:Dagron ip:192.168.0.46 tc_id:20 bytes:24109
PREPRING TRAFFIC HASH: User id:6 login:Dagron ip:192.168.0.46 tc_id:1000 bytes:420613
tc_formula_final = 59298280 already_download:59298280 already_tc_id:
PRICE: 1.5 bytes_border:0
FINAL HASH: download:169216 tc_id:7 price:0.2420654296875
tc_formula_final = already_download: already_tc_id:
FINAL HASH: download:420613 tc_id:7 price:0.2420654296875
FINAL HASH: download:420613 tc_id:1000 price:0
tc_formula_final = 318474049 already_download:318474049 already_tc_id:
PRICE: 0 bytes_border:0
FINAL HASH: download:24109 tc_id:7 price:0.2420654296875
FINAL HASH: download:24109 tc_id:1000 price:0
FINAL HASH: download:24109 tc_id:20 price:0
discount: 0.2420654296875
DO_SEND:0 RESULT:0 UID:6
user_email:
discount: 0
DO_SEND:0 RESULT:0 UID:6
user_email:
discount: 0
DO_SEND:0 RESULT:0 UID:6
user_email:
UID: 6 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:6

Command: fast. Skipping assign traffic to user: 7...
UID: 7 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:7

Command: fast. Skipping assign traffic to user: 8...
UID: 8 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:8

Command: fast. Skipping assign traffic to user: 9...
UID: 9 TID: 0
NOTE: Subscription fee not discounted. Tariff discount period not expired.
services_discount:0 uid:9

o Starting insert data from traffic_tmp to traffic_day
o Starting insert data from whost_row_tmp to traffic_day
o Starting insert data from traffic_tmp to traffic_month
o Starting insert data from whost_row_tmp to traffic_month
o Starting insert data from traffic_tmp to traffic_year
o Starting insert data from whost_row_tmp to traffic_year
o Starting insert data from traffic_tmp to traffic
o Starting delete data from traffic_tmp
o Ending delete data from traffic_tmp
o Starting delete data from whost_row_tmp
o Ending delete data from whost_row_tmp
o Starting block accounts
+++ Sending commands to remote CISCO ...
+++ End sending commands to remote CISCO ...
optimize_hour:5 hour:0 optimize_last:1113181206 optimize_period:1728000 cur_time:1114547914
UTM.traffic_tmp clearing ...
backup_hour: hour:0 backup_last:1114545606 backup_delay:0 cur_time:1114547914
Working time: 2 wallclock secs ( 0.18 usr + 0.02 sys = 0.20 CPU)
NetUP UTM main: deleting lock file ...
11. Вот и все. Трафик, как я уже сказал, считается. Никакой разницы с тем, что было раньше, я пока не заметил. Работает ли то, ради чего я все это затеял, еще не знаю. Буду проверять завтра или послезавтра.
Огромное спасибо за помощь!
Если изменить название топика и удалить лирические отступления, то можно выкладывать в раздел «документация» - будет хорошим подспорьем таким же «новоиспеченным админам» как и я.
Кстати о названии. Все же интересно, что не позволяет использовать в правилах отрицание – ipcad или UTM?

[Skylord]

NetUP UTM version 4.0 [1 +update 07 july 2003]

Обновись до апдейта от 17 мая. Хуже не будет....

Registered to: owned by M.A.X

Нехорошо такое на официальном форуме постить. Моветон.

Кстати о названии. Все же интересно, что не позволяет использовать в правилах отрицание – ipcad или UTM?

В УТМ просто нет такого функционала. А если ты хочешь вообще исключить какой-то вид трафика из собирания, то ничего не мешает настроить фильтры в ipcad. Синтаксис - как у libpcap (см. man tcpdump). Можно, скажем, локальный полностью убить, чтобы он даже в статистике не появлялся.

[wolf]

NetUP UTM version 4.0 [1 +update 07 july 2003]

Обновись до апдейта от 17 мая. Хуже не будет....

Был еще апдейт от 29 сентября 2003г. Его ставить обязательно? Или все включено в апдейт от 17 мая 2004г?
Т.е. сначала от 29 сентября, а потом от 17 мая, или сразу от 17 мая?
Еще есть апдейт от 28 марта 2005г. Он нужен?

[Skylord]

NetUP UTM version 4.0 [1 +update 07 july 2003]

Обновись до апдейта от 17 мая. Хуже не будет....

Был еще апдейт от 29 сентября 2003г. Его ставить обязательно? Или все включено в апдейт от 17 мая 2004г?
Т.е. сначала от 29 сентября, а потом от 17 мая, или сразу от 17 мая?

Сразу майский. Но от sql-инъекций он не спасет. Но лучше поставить. Пусть будет....

Еще есть апдейт от 28 марта 2005г. Он нужен?

Не нужен, но приятен. Оптимизирует базу данных.