Опыт установки 5.3 на боевом сервере

[Hawk128]

При необходимости - конечно могу.

И да, у нас на этом сервере AS 4-х битная. Но таких много, поэтому биллинг должен кушать без проблем.
Исправите?

[Hawk128]

Вот пример того что приходит по v9.
Захватил через flowd.

Код: Выделить всё

FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 11 tos 00 agent [127.0.0.1] src [10.10.0.38]:61028 dst [109.194.102.92]:28931 gateway [212.188.12.9] packets 2 octets 80 in_if 42 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 32 dst_AS 0 dst_masklen 20
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 16 tos 00 agent [127.0.0.1] src [176.197.9.147]:26477 dst [10.10.0.49]:62106 gateway [0.0.0.0] packets 2 octets 92 in_if 1 out_if 54 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 15 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [176.106.14.191]:25616 dst [10.10.0.49]:62104 gateway [0.0.0.0] packets 5 octets 949 in_if 1 out_if 54 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 21 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1c tos 00 agent [127.0.0.1] src [10.10.0.49]:62104 dst [176.106.14.191]:25616 gateway [212.188.12.9] packets 5 octets 1129 in_if 54 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 32 dst_AS 0 dst_masklen 21
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [66.151.135.180]:443 dst [10.7.0.210]:25030 gateway [0.0.0.0] packets 3 octets 551 in_if 1 out_if 11 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 20 dst_AS 0 dst_masklen 24
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [10.7.0.210]:25030 dst [66.151.135.180]:443 gateway [212.188.12.9] packets 4 octets 571 in_if 11 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 24 dst_AS 0 dst_masklen 20
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1e tos 00 agent [127.0.0.1] src [89.169.29.92]:60084 dst [10.10.0.49]:62109 gateway [0.0.0.0] packets 3 octets 290 in_if 1 out_if 54 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 16 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1b tos 00 agent [127.0.0.1] src [10.10.0.90]:51914 dst [78.41.196.142]:80 gateway [212.188.12.9] packets 7 octets 1350 in_if 23 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 32 dst_AS 0 dst_masklen 23
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1b tos 00 agent [127.0.0.1] src [110.75.71.13]:80 dst [10.7.0.215]:50681 gateway [0.0.0.0] packets 4 octets 882 in_if 1 out_if 56 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 16 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 16 tos 00 agent [127.0.0.1] src [189.3.31.136]:59197 dst [10.10.0.49]:62108 gateway [0.0.0.0] packets 3 octets 128 in_if 1 out_if 54 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 16 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 13 tos 00 agent [127.0.0.1] src [37.229.4.134]:54729 dst [10.10.0.82]:60103 gateway [0.0.0.0] packets 2 octets 92 in_if 1 out_if 106 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 16 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1b tos 00 agent [127.0.0.1] src [10.10.0.82]:60103 dst [37.229.4.134]:54729 gateway [212.188.12.9] packets 5 octets 280 in_if 106 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 32 dst_AS 0 dst_masklen 16
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 1b tos 00 agent [127.0.0.1] src [176.121.48.15]:57555 dst [98.137.204.103]:80 gateway [212.188.12.9] packets 7 octets 531 in_if 11 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 24 dst_AS 0 dst_masklen 21
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [10.7.0.215]:50681 dst [110.75.71.13]:80 gateway [212.188.12.9] packets 5 octets 1467 in_if 56 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 32 dst_AS 0 dst_masklen 16
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [176.121.48.12]:25 dst [94.100.176.18]:56037 gateway [212.188.12.9] packets 3 octets 272 in_if 11 out_if 1 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 24 dst_AS 0 dst_masklen 20
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 19 tos 00 agent [127.0.0.1] src [94.100.176.18]:56037 dst [176.121.48.12]:25 gateway [0.0.0.0] packets 3 octets 168 in_if 1 out_if 11 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 20 dst_AS 0 dst_masklen 24
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 04 tos 00 agent [127.0.0.1] src [94.100.176.18]:56037 dst [176.121.48.12]:25 gateway [0.0.0.0] packets 2 octets 80 in_if 1 out_if 11 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 20 dst_AS 0 dst_masklen 24
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 14 tos 00 agent [127.0.0.1] src [77.222.153.241]:41159 dst [10.10.0.49]:62105 gateway [0.0.0.0] packets 2 octets 80 in_if 1 out_if 54 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 20 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 16 tos 00 agent [127.0.0.1] src [103.10.4.40]:21 dst [176.121.48.19]:57583 gateway [0.0.0.0] packets 2 octets 92 in_if 1 out_if 100 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 24 dst_AS 0 dst_masklen 32
FLOW recv_time 2013-06-06T12:58:16.463305 proto 6 tcpflags 14 tos 00 agent [127.0.0.1] src [5.175.126.159]:6881 dst [10.7.0.226]:63944 gateway [0.0.0.0] packets 2 octets 80 in_if 1 out_if 11 sys_uptime_ms 1w6d6h2m44s.704 time_sec 2013-06-06T12:58:16 time_nanosec 0 netflow ver 9 flow_start 1w6d6h2m44s.704 flow_finish 1w6d6h2m44s.704 src_AS 0 src_masklen 20 dst_AS 0 dst_masklen 24

[serjk]

При необходимости - конечно могу.

И да, у нас на этом сервере AS 4-х битная. Но таких много, поэтому биллинг должен кушать без проблем.
Исправите?

Да, конечно.

[Manjur]

А баг пофиксили с тысячами строк в секунду в debug.log?

Код: Выделить всё

?Debug : Jun 07 18:32:45 b31b6b70 UTM5 DBA: __get_unabon_unprepay: slink_id 40562 unabon 0 unprepay 0 is_blocked 0
?Debug &#58; Jun 07 18&#58;32&#58;45 b31b6b70 UTM5 DBA&#58; _calc_unblocked_time&#58; curr <1372615200> start_recalc <0> saved_recalc <0> is_blocked_recalc <0> begin <1370023200> end <1372615200>
?Debug &#58; Jun 07 18&#58;32&#58;45 b31b6b70 UTM5 DBA&#58; __get_unabon_unprepay&#58; slink_id 36886 unabon 0 unprepay 0 is_blocked 0
?Debug &#58; Jun 07 18&#58;32&#58;45 b31b6b70 UTM5 DBA&#58; _calc_unblocked_time&#58; curr <1372615200> start_recalc <0> saved_recalc <0> is_blocked_recalc <0> begin <1370023200> end <1372615200>
?Debug &#58; Jun 07 18&#58;32&#58;45 b31b6b70 UTM5 DBA&#58; __get_unabon_unprepay&#58; slink_id 14193 unabon 1 unprepay 0 is_blocked 0
?Debug &#58; Jun 07 18&#58;32&#58;45 b31b6b70 UTM5 DBA&#58; _calc_unblocked_time&#58; curr <1372615200> start_recalc <0> saved_recalc <0> is_blocked_recalc <0> begin <1370023200> end <1372615200>

--

[serjk]

Пофиксили, netflow9 тоже пофиксили.

[Hawk128]

Сегодня поставил свежую сборку на тест.
Недофиксили netflow v9.

Итак, беру бекап текущей базы боевого сервака на 5.2.1-009, разворачиваю на тестовом, по инструкции делаю обновление до сегодняшнего тестового 5.3-001. Со шлюза у меня идет netflow v5 на основной сервер и копия этого же в виде netflow v9 на тестовый.
Теперь сервер стату глотает, записи нетфлоу уверенно ползут в статистике. Но занныз о трафике в отчетах по пользователям не появляется... Просто ноль.

То ли с классами трафика намудрили, то ли через v9 ipv4 не принимаете... В общем что-то не так...

Данные из нетфлоу вроде в биллинге есть:

Код: Выделить всё

./bin/get_nf_direct | more
timestamp account_id source destination t_class packets bytes sport dport date
1371727551 385 87.250.251.36 176.121.48.21 10 0 0 443 10933 Thu Jun 20 15:25:51 2013
1371727551 100 195.82.146.121 10.10.0.38 10 0 0 80 64219 Thu Jun 20 15:25:51 2013
1371727551 124 176.121.48.25 95.80.100.138 20 0 0 55937 35691 Thu Jun 20 15:25:51 2013
1371727551 124 176.121.48.25 188.168.2.214 20 0 0 39363 37999 Thu Jun 20 15:25:51 2013
1371727551 124 82.6.220.195 176.121.48.25 10 0 0 49208 40287 Thu Jun 20 15:25:51 2013
1371727551 124 176.121.48.25 82.6.220.195 20 0 0 40287 49208 Thu Jun 20 15:25:51 2013
1371727551 124 176.62.107.252 176.121.48.25 10 0 0 44545 48894 Thu Jun 20 15:25:51 201
3
1371727551 124 176.121.48.25 176.62.107.252 20 0 0 48894 44545 Thu Jun 20 15:25:51 201
3
1371727551 124 178.208.230.213 176.121.48.25 10 0 0 34154 52589 Thu Jun 20 15:25:51 20
13
1371727551 124 176.121.48.25 178.208.230.213 20 0 0 52589 34154 Thu Jun 20 15:25:51 20
13
1371727551 203 46.167.101.167 192.168.0.18 10 0 0 36707 52601 Thu Jun 20 15:25:51 2013
1371727551 100 10.10.0.38 195.82.146.121 20 0 0 64219 80 Thu Jun 20 15:25:51 2013
1371727551 497 176.121.48.42 188.226.93.75 20 0 0 33467 57474 Thu Jun 20 15:25:51 2013
1371727551 124 176.121.48.25 188.18.202.139 20 0 0 55919 49509 Thu Jun 20 15:25:51 201
3
1371727551 124 5.56.110.92 176.121.48.25 10 0 0 35986 60999 Thu Jun 20 15:25:51 2013
1371727551 124 176.121.48.25 5.56.110.92 20 0 0 60999 35986 Thu Jun 20 15:25:51 2013
1371727551 96 103.10.4.40 176.121.48.19 10 0 0 21 65524 Thu Jun 20 15:25:51 2013
1371727551 53 217.107.214.29 10.10.0.122 10 0 0 80 49536 Thu Jun 20 15:25:51 2013
1371727551 53 10.10.0.122 217.107.214.29 20 0 0 49536 80 Thu Jun 20 15:25:51 2013
1371727551 124 95.80.100.138 176.121.48.25 10 0 0 35691 55937 Thu Jun 20 15:25:51 2013
1371727551 100 185.6.249.194 10.10.0.38 10 0 0 22679 64220 Thu Jun 20 15:25:51 2013
1371727551 28 10.10.0.43 195.91.211.193 20 0 0 22272 12647 Thu Jun 20 15:25:51 2013
1371727551 203 94.20.211.200 192.168.0.18 10 0 0 48595 52438 Thu Jun 20 15:25:51 2013
1371727551 132 93.185.192.66 176.121.48.29 10 0 0 15973 6881 Thu Jun 20 15:25:51 2013
1371727551 28 10.10.0.43 213.231.51.1 20 0 0 22272 49973 Thu Jun 20 15:25:51 2013
1371727551 132 176.121.48.29 41.224.247.3 20 0 0 6881 24239 Thu Jun 20 15:25:51 2013
1371727551 203 10.10.0.82 109.205.248.2 20 0 0 56367 58520 Thu Jun 20 15:25:51 2013
1371727551 521 10.10.0.85 188.134.46.171 20 0 0 60272 47652 Thu Jun 20 15:25:51 2013
1371727551 63 10.10.0.121 128.75.179.117 20 0 0 50152 41163 Thu Jun 20 15:25:51 2013
1371727551 100 10.10.0.38 188.162.228.85 20 0 0 62633 54313 Thu Jun 20 15:25:51 2013
1371727551 132 122.172.253.54 176.121.48.29 10 0 0 14089 6881 Thu Jun 20 15:25:51 2013
1371727551 208 176.121.48.24 108.215.4.175 20 0 0 0 0 Thu Jun 20 15:25:51 2013
1371727551 100 10.10.0.38 188.162.228.92 20 0 0 62634 54313 Thu Jun 20 15:25:51 2013

[serjk]

Но занныз о трафике в отчетах по пользователям не появляется... Просто ноль.

То ли с классами трафика намудрили, то ли через v9 ipv4 не принимаете... В общем что-то не так...

В течение какого времени ожидали появления отчета по трафику? traffic_aggregation_interval длинный установлен? Возможно списания просто не успели произойти.

Судя по приведенным Вами данным get_nf_direct, трафик корректно классифицируется.

[serjk]

NetFlow v9 + IPv4 проблем вызывать не должно.

[Hawk128]

Часа 4 точно.
На основном биллинге все отобразилось. Период один и тот же спрашивал в отчетах.

[serjk]

Спасибо, нашли баг. Воспроизводится на некоторых конфигурациях, в частности ng_netflow дает такой результат.

Если в шаблоне netflow v9 присутствуют поля INPUT_BYTES и OUTPUT_BYTES одновременно, используется то, что идет последним (хотя по факту хотя бы одно из них будет равно 0, в результате чего получается нулевое количество байт для данной netflow-записи)

[Hawk128]

Понятно, когда исправите?

[serjk]

Исправили, в RC4 войдет с некоторым количеством нового функционала.
Если актуально, можем по запросу сборку предоставить в любое время.

[Hawk128]

Могу потестить, могу и подождать. До релиза все равно на боевой ставить не стану, начальство пристрелит за такое. А вот тестовый рядом есть...

[Magnum72]

В параметрах расширенного поиска присутствуют переменные:
Incoming Trunk
Исходящий транк

[ZeM]

Похоже докручивают телефонию.