Прошу помощи по организации сбора статы по трафику

alexus · Сообщение **alexus** » Вс янв 04, 2009 18:07

А как мне отделить входящий внешний трафик от трафика локального?

dwemer · Сообщение **dwemer** » Вт янв 06, 2009 03:55

alexus писал(а):А как мне отделить входящий внешний трафик от трафика локального?

"тарификация" -> "классы трафика"
в админке

alexus · Сообщение **alexus** » Вт янв 06, 2009 05:01

dwemer писал(а):
alexus писал(а):А как мне отделить входящий внешний трафик от трафика локального?
"тарификация" -> "классы трафика"
в админке

Дык это понятно, но как правила задать, чтобы внешний трафик разделялся от внутреннего?

Опишу ещё раз как у меня сейчас в сетке организовано подключение:

сеть красса В "серая"
есть маршрутизатор (freebsd), к кторому подключены подсети:
серверная подсеть (в этой подсети стоит шлюз и сервера, с которых входящий на абонента трафик будет тарифицироваться. В этой же подсети сидит пара офисных ПК)
подсеть, в которой сидят абоненты
подсеть, где сидит один сервер с биллингом.
адачи такие:
слушать трафик от всех как входящий, так и исходящий;
тарифицировать только входящий трафик;
отделить трафик входящий сети интернет от локального.
Посоветуйте как правильно мне организовать схём статистики по трафику с сетевых интерфейсов и в двух словах как классы трафика задать, чтобы не происходило дубилирования и внешний трафик был отделён от внутреннего.

Спасибо

alexus · Сообщение **alexus** » Вт янв 06, 2009 11:38

Кажется до меня допёрло как разделить интернет трафик от локального.
Добавляем класс трафика "входящий интернет", например.
Добавляем подкласс всего трафика на получателя и ещё подклассы с локальным трафиком, но у подклассов с локальным трафиком ставим галочку пропустить, тогда он не посчитается в этом общем класс трафика.
Но его можно будет посчитать в другом классе трафика, например, добавим ещё класс "входящий локальный", и у него подклассами прописываем с конкретных локальных сетей/подсетей входящий трафик

всё верно ??

alexus · Сообщение **alexus** » Пт янв 09, 2009 20:21

1. Что-то я немного затупил. Нужен ваш совет.
Вот у меня в локалке роутер на фряхе, к которому на отдельный интерфекс подключен шлюз в интернет (NAT) и на отдельные сет интерфейсы подсеть серверов и подсети абонентов.
Стату по нетфлоу я снимаю с интерфейсов роутера. Но у меня тогда выпадает из статы обращения в интернет самого шлюза.

То есть мне надо ещё фиксировать и его обращения в интернет ик нему. как же мне тогда это сделать? запускать на нём нетфло?
так как там НАТ стоит, есть какие то особенности в настроейке нетфло?

2. и ещё

gravis писал(а):1.2.3.4 - адрес компутера с utm5_core
$uplink_if присвоить имя интерфейса где сидят клиенты, например

#!/bin/sh
uplink_if="em0"

ngctl mkpeer $uplink_if: netflow upper iface0
ngctl name $uplink_if:upper netflow
ngctl connect $uplink_if: netflow: lower out0
ngctl mkpeer netflow: ksocket export inet/dgram/udp
ngctl msg netflow:export connect inet/1.2.3.4:9996

в таком виде считается "исходящий" трафик в сеть клиентов (т.е. входящий из интернета)
если нужно считать на входе из интернета (например если нет NAT и все IP клиентов реальные) то надо поменять хуки upper и lower местами

Извините за простой вопрос, но пока ещё не вкурил как эта система работает. В общем, как этому скрипту дописать ещё подсчёт исходящего трафика. Тоесть надо смотреть и туда и сюда.

alexus · Сообщение **alexus** » Вс янв 11, 2009 16:18

Никто не подскажет путёвую доку, по которой можно будет понять как работает netflow ?

JAO · Сообщение **JAO** » Вс янв 11, 2009 16:31

Правильно, в одну сторону и будет считаться. Потому что одна нода воткнута между upper и lower. Такое решение у меня прожило с полчаса. Потом было другое, с двумя нодами, с задачей справлялось, но было корявым. В итоге сделал вот так:

Код: Выделить всё

#!/bin/sh

ngctl="/usr/sbin/ngctl"

billing_ip="4.3.2.1"

# Setting up Netflow export

$&#123;ngctl&#125; -f- <<-SEQ
    mkpeer ipfw&#58; netflow 10 iface0
    name ipfw&#58;10 nfg
    msg nfg&#58; setdlt &#123; iface=0 dlt=12 &#125;
    msg nfg&#58; settimeouts &#123; inactive=30 active=30 &#125;
    mkpeer nfg&#58; ksocket export inet/dgram/udp
    name nfg&#58;export nfxs
    msg nfxs&#58; connect inet/$&#123;billing_ip&#125;&#58;9996
SEQ

Подсчет трафика реализуется вставкой в ipfw правил

Код: Выделить всё

ngtee 10 all from any to any in
ngtee 10 all from any to any out

для подсчета на всех интерфейсах разом (нехороший вариант) либо вот такой парочки

Код: Выделить всё

ngtee 10 all from any to any in recv xl0
ngtee 10 all from any to any out xmit xl0

xl0 замените на нужный вам интерфейс, а 4.3.2.1 на адрес вашего биллинга.
settimeouts - это таймауты сессий netflow, значение в секундах, чем меньше - тем меньше у клиента минус при завершении большой закачки по tcp и тем больше данных сливается по netflow и ест хранилище детальной статистики биллинга.

alexus · Сообщение **alexus** » Вс янв 11, 2009 16:47

ДЖАО, а в моём сулчае как лучше сделать?
У меня же ещё второй коллектор статистики добавится, которые будет стоять на самом шлюзе и с него я буду брать стату входящий/исходящий на/от шлюз(а) в/от сторону интернета.
А на роутере я могу такой же как у тебя скрипт применить?
И просто правильно отконфигурить классы трафика в биллинге?

JAO · Сообщение **JAO** » Вс янв 11, 2009 17:22

Немного непонятно. Насчет подсетей понял. Но если информация будет сниматься и на роутере и на шлюзе, то трафик будет задваиваться. Поправьте если не так. Вас интересует информация о трафике на внешний интерфейс шлюза? у меня эту информацию льет киса, от которой идет netflow про все реальные адреса.

Можно прикрутить скрипт к любой фре версии не ниже 6.x, роутер это, шлюз или просто сервер какой-нибудь.

alexus · Сообщение **alexus** » Вс янв 11, 2009 17:34

Просто задача стоит вести учёт всего входящего/исходящего трафика интернет.
А получается, что если я буду забирать инфу по трафику только с роутера, тогда тот трафик, который будет идти от/на самого шлюза, не будет учтён. И тогда у меня картина будет неполной.

ВОт как мне эту задачу выполнить?
Доп. инфа:
Сеть с серыми адресами, шлюз сидит на выделенном айпи, содеинение в интернет через эзернет кабель (то есть нет никаких рррое и т.д.)

Enemy · Сообщение **Enemy** » Вс янв 11, 2009 17:41

это наиболее пододящий топик, так как у меня схожая задача, считать трафик с помощью netflow

только с самим netflow и вообще всем что на строне freebsd проблем нет,
затруднения в админке биллинга, не в самой админке, а в понимании логики улуг, параметров и связок, грубо говоря где какие галочки ставить и где не ставить и почему... документация очень сухая и лаконичная.

Есть роутер, через который идёт трафик, на нём нетфлоу и другой сервер и биллингом, в биллинге заведён пользователь, ему назначена услуга передачи IP-трафика и привязан IP адрес (ещё создан тарифный план, но мне трудно понять логику этих планов, услуг и тд, делал почти вслепую по докам), сначала пробовал с классами трафика по умолчанию, помтом немного отредактировал их, указав в Outgoing src address сетей за роутером, а в Incoming вые address соответсвенно, в общем логически думаю правильно сделал.

Почему в отчётах по трафики, присутствуют строки, с пользователь неизвестен и класс трафика неопределён? Похоже что это весь трафик проходящий через роутер.

Как обнулить трафик пользователя? Например чтобы протестировать и тд.

Какие настройки вообще лучше в таком случае делать пользователю, типы услуг и тд?

Enemy · Сообщение **Enemy** » Вс янв 11, 2009 17:46

Ещё небольшой вопрос по установке rfw отдельно на роутер, в документации описывается установка всего биллинга с ядром и тд, а как вынести только rfw на роутер, вручную?

alexus · Сообщение **alexus** » Вс янв 11, 2009 17:49

Enemy писал(а):
Почему в отчётах по трафики, присутствуют строки, с пользователь неизвестен и класс трафика неопределён? Похоже что это весь трафик проходящий через роутер.

Потому что нет пользователя с айпи, входящем вд иапазон айпи класса. Класс не определён, потому что в заданных классах трафика этот трафик не определён.

Enemy писал(а): Как обнулить трафик пользователя? Например чтобы протестировать и тд.

Какие настройки вообще лучше в таком случае делать пользователю, типы услуг и тд?

Хер знает как очистить, н оя чистил в самое базе данных через пхпмайадмин.

Я хоть и первый раз биллинг настраиваю глобально, хоть и с ним уже второй месяц вожусь, но порекомендую тебе для начала разобраться с классами трафика. Понять их логику и правильно настроить.
Проверить, правильно трафик считался.
А по чатси услуг, там вроде как всё просто, а за ньансами лезь в книжку, там инфы полно и есть всё необходимое почти по этим вопросам.

alexus · Сообщение **alexus** » Вс янв 11, 2009 17:50

Enemy писал(а):Ещё небольшой вопрос по установке rfw отдельно на роутер, в документации описывается установка всего биллинга с ядром и тд, а как вынести только rfw на роутер, вручную?

А что тебе мешает скопировать всю папку нетап, а в загрузке поставить демон только rfw ? Я не стал гемороится с его выделением, а так и сделал.

JAO · Сообщение **JAO** » Пн янв 12, 2009 16:02

alexus, я понял, что всё, что идет из инета в сеть с серой адресацией, проходит и шлюз и роутер, причем роутер ближе к клиенту, чем шлюз. Так? тогда достаточно на роутере обсчитывать интерфейсы клиентских сетей, оставляя без внимания тот интерфейс, который идет к шлюзу. На шлюзе нужен трафик, который идет на его реальный адрес? если да, то внутренний интерфейс можно не считать, потому что роутер это поймает, а считать только внешний. Я все правильно понял?