Увеличение размера базы данных

in · Сообщение in » Чт фев 10, 2005 12:56

Приветствую.
Есть UTM 4.0 и около 220 пользователей в нем.
База mysql каждый день увеличивается на 300-400 мегабайт, это нормальная ситуация ?
Началось это, приблизительно, месяц назад.
Есть подозрение, что произошло это по той причине, что приток пользователей месяц-полтора назад резко увеличился.

demiurg

У меня такое было, когда msblast начал гулять. Потом я его фариком порезал и всё нормально дальше было.

in · Сообщение in » Чт фев 10, 2005 14:20

Угу, мне тоже кажется, что детальный трафик.
Что интересно - выставляю в настройках хранение детального трафика за 20, например, дней, а все равно хранит детальный трафик за все время.

Может, кто-то подскажет, как это можно починить, потому что база уже на 9 гигабайт разраслась...

Skylord

in писал(а):Приветствую.
Есть UTM 4.0 и около 220 пользователей в нем.
База mysql каждый день увеличивается на 300-400 мегабайт, это нормальная ситуация ?

Да, нормальная. Известная проблема и не проблема даже, а просто особенность... Методы решения:
1) Не использовать netflow, который сильно увеличивает базу.
2) Оптимизировать базу патчем, ссылку на который можно найти на старом форуме. Патч уменьшает поля разных таблиц. Мелочь, а приятно.
3) Нормально настроить оптимизацию базу в УТМ. Задать количество дней хранения (отсчитываются от предыдущей оптимизации), задать час дня (не время!!! Не "04:00", а просто "4"), запустить в этот час tsave по истечении заданного срока с предыдущей оптимизации.

Вообще, внимательно смотреть надо на последние строки вывода tsave - там как раз про оптимизацию.
4) Исключить из обработки локальный трафик. Настраивается в коллекторе.

Вот-с. Все остальное, что можно придумать будет уже требовать правки исходников биллинга.

Кто знает еще какие-то варианты - добавляйте.

in · Сообщение in » Пт фев 11, 2005 10:49

Поискал по старому форуму и наткнулся на http://old.netup.ru/phorum/viewthread.php?tid=2395
Сделал как там писал товарищ admin, погляжу, что из этого выйдет...

Mike · Сообщение **Mike** » Пт фев 11, 2005 19:24

Так они опять потом появятся.

Мы делали предложение NetUp по оптимизации базы.
Даже сделали патчи. Но .................

Даже готовых решений NetUp применить не может.

По ссылке в форуме (http://old.netup.ru/phorum/viewthread.php?tid=1947) найти не сможете. Можно попробовать попросить у NetUp

Но если надо могу поискать у себя.

Все сюда.
viewtopic.php?t=170

Иван

а вот у меня вопрос по demiurg'у - насчет msblastов
как отлавливать таких вредителей?
при просмотре детальной статистики зараженного пользователя конечно по характеру трафика сразу видно что он флудит.
а вот как увидеть в реальном времени что сейчас (или 3 дня назад, к примеру) в сети стоит флуд
пробовал tcpdump - он такой перегруженный лишней информацией вывод дает, что пролистать его нет никакой возможности
в win версии был файл traflog/error.log, в котором накапливался вообще весь прошедший трафик, в удобном для быстрого пролистывания виде. Сейчас использую unix версию, и этот файл, когда все нормально, отвечая своему названию, всегда пуст. А жаль. Удобная фича была

Victor · Сообщение **Victor** » Вт фев 15, 2005 23:03

найди сниффер для винды (ex. Iris Network Analyzer) и слушай, тонны arp-пакетов от одного мака, перебирающего подсеть за подсетью точно покажут вредителя... а вообще руби на корню 137,139,445 порты, если есть возможность.

demiurg

Если смотреть то: tcpdump -i fxp0 port 135
А резать: ipfw add deny tcp from any to any 135
Думаю, ты сам это знаешь.
На внутренних роутерах режу нормально.
Но все пользователи предупреждены, что с случае выхода через ВПН, бласт полезет у них дальше через туннель и они за это денюжку платить будут.

Gemorroy

А я в ipcad прописал фильтр. Теперь у меня в детальную стату пишется только входящий интернет трафик. За полгода база выросла примерно на 20 мб.
В конфиге прописано следующее:
interface eth1 promisc filter "ip and not src 192.168.0.0/16";

Mike · Сообщение **Mike** » Чт фев 17, 2005 08:41

Все надо резать и конем.

У меня в iptables зарезано:

[0:0] -A FORWARD -p tcp -m tcp --sport 135 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --dport 135 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --sport 137:139 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --dport 137:139 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --sport 445 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --dport 445 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --sport 4444 -j DROP
[0:0] -A FORWARD -p tcp -m tcp --dport 4444 -j DROP
[0:0] -A FORWARD -p udp -m udp --sport 69 -j DROP
[0:0] -A FORWARD -p udp -m udp --dport 69 -j DROP
[0:0] -A FORWARD -p udp -m udp --sport 135 -j DROP
[0:0] -A FORWARD -p udp -m udp --dport 135 -j DROP
[0:0] -A FORWARD -p udp -m udp --sport 137:139 -j DROP
[0:0] -A FORWARD -p udp -m udp --dport 137:139 -j DROP
[0:0] -A FORWARD -p udp -m udp --sport 445 -j DROP
[0:0] -A FORWARD -p udp -m udp --dport 445 -j DROP

Также есть проблема с тем, что если у пользователя VPN то у него не режется.

Я делал так:
В графиках загрузки убирал Входящий и другие трафики.
Оставлял только исходящий. И когда пики этого трафика делал детальную статитику и смотрел кто.

Mike · Сообщение **Mike** » Чт фев 17, 2005 08:43

А если напряжно то можно написать скрипт, который это отслеживает и высылает на почту.

Нужно сравнивать входящий у пользователю трафик и исходящий.
Обычно при вирусах трафика исходящего в два и больше раза больше чем входящего.

Иван

Mike писал(а):А если напряжно то можно написать скрипт, который это отслеживает и высылает на почту.

Нужно сравнивать входящий у пользователю трафик и исходящий.
Обычно при вирусах трафика исходящего в два и больше раза больше чем входящего.

исходящий всякие ослы и мулы в 3-5 раз больше входящего качают

demiurg писал(а):Если смотреть то: tcpdump -i fxp0 port 135
А резать: ipfw add deny tcp from any to any 135
Думаю, ты сам это знаешь.
На внутренних роутерах режу нормально.

у меня таким манером порядка 30 портов порезано. и 135 - самый первый))) Периодически флуд идет все по новым и новым портам, так что у меня задача разбивается на 2 - обнаружить кто флудит (не всегда снутри, бывает и снаружи сканерят, если снутри можно по ip чего то фильтровать, то снаружи только по портам) а вторая задача - определить по какому именно порту стоит флуд. Кстати в примере fxp0 это внутренний или внешний? потому что по внешнему только жужие пакеты гоняют. Вот у меня 3 внутренних интерфейса, как их все снифить?
вот кусок моего конфига
# flood port blocking
${ipfw} add 600 deny log logamount 10000 udp from any to any tftp
${ipfw} add 601 deny log logamount 10000 udp from any to any bootps
${ipfw} add 602 deny log logamount 10000 udp from any to any 69
${ipfw} add 602 deny log logamount 10000 udp from any to any 161
${ipfw} add 602 deny log logamount 10000 udp from any to any 135
${ipfw} add 602 deny log logamount 10000 udp from any to any 136
${ipfw} add 602 deny log logamount 10000 udp from any to any 137
${ipfw} add 602 deny log logamount 10000 udp from any to any 138
${ipfw} add 602 deny log logamount 10000 udp from any to any 139
${ipfw} add 603 deny log logamount 10000 udp from any to any 1434
${ipfw} add 604 deny log logamount 10000 udp from any to any 5000
${ipfw} add 605 deny log logamount 10000 udp from any to any 8866

${ipfw} add 606 deny log logamount 10000 tcp from any to any 42
${ipfw} add 606 deny log logamount 10000 tcp from any to any 69
#${ipfw} add 606 deny log logamount 10000 tcp from any to any 81
${ipfw} add 607 deny log logamount 10000 tcp from any to any 135
${ipfw} add 607 deny log logamount 10000 tcp from any to any 136
${ipfw} add 607 deny log logamount 10000 tcp from any to any 137
${ipfw} add 607 deny log logamount 10000 tcp from any to any 138
${ipfw} add 607 deny log logamount 10000 tcp from any to any 139
${ipfw} add 607 deny log logamount 10000 tcp from any to any 161
${ipfw} add 607 deny log logamount 10000 tcp from any to any 254
${ipfw} add 607 deny log logamount 10000 tcp from any to any 255
${ipfw} add 608 deny log logamount 10000 tcp from any to any 901
${ipfw} add 609 deny log logamount 10000 tcp from any to any 1023
${ipfw} add 609 deny log logamount 10000 tcp from any to any 1025
${ipfw} add 610 deny log logamount 10000 tcp from any to any 1026
${ipfw} add 611 deny log logamount 10000 tcp from any to any 1027
${ipfw} add 612 deny log logamount 10000 tcp from any to any 1433
${ipfw} add 629 deny log logamount 10000 tcp from any to any 1555
${ipfw} add 613 deny log logamount 10000 tcp from any to any 2745
${ipfw} add 614 deny log logamount 10000 tcp from any to any 3127
${ipfw} add 615 deny log logamount 10000 tcp from any to any 3128
${ipfw} add 616 deny log logamount 10000 tcp from any to any 3129
${ipfw} add 617 deny log logamount 10000 tcp from any to any 3130
${ipfw} add 618 deny log logamount 10000 tcp from any to any 3131
${ipfw} add 619 deny log logamount 10000 tcp from any to any 3132
${ipfw} add 620 deny log logamount 10000 tcp from any to any 3133
${ipfw} add 620 deny log logamount 10000 tcp from any to any 3306
${ipfw} add 620 deny log logamount 10000 tcp from any to any 3389
${ipfw} add 621 deny log logamount 10000 tcp from any to any 4444
${ipfw} add 622 deny log logamount 10000 tcp from any to any 4898
${ipfw} add 622 deny log logamount 10000 tcp from any to any 4899
${ipfw} add 623 deny log logamount 10000 tcp from any to any 5000
${ipfw} add 624 deny log logamount 10000 tcp from any to any 5554
${ipfw} add 625 deny log logamount 10000 tcp from any to any 6101
${ipfw} add 625 deny log logamount 10000 tcp from any to any 6129
${ipfw} add 626 deny log logamount 10000 tcp from any to any 8866
${ipfw} add 627 deny log logamount 10000 tcp from any to any 9898
${ipfw} add 628 deny log logamount 10000 tcp from any to any 11768
${ipfw} add 628 deny log logamount 10000 tcp from any to any 13276
${ipfw} add 638 deny log logamount 10000 tcp from any to any 15118
# evil host blocking
${ipfw} add 700 deny all from 81.176.64.59 to any
${ipfw} add 701 deny all from 69.93.95.234 to any
${ipfw} add 702 deny all from 80.142.62.133 to any
${ipfw} add 703 deny all from 217.16.27.73 to any
${ipfw} add 704 deny all from 66.55.149.245 to any
${ipfw} add 705 deny all from 217.106.232.55 to any
${ipfw} add 706 deny all from velvetic.com to any
${ipfw} add 707 deny all from valverin.com to any
${ipfw} add 707 deny all from www.valverin.com to any
${ipfw} add 708 deny all from eroson.com to any
${ipfw} add 709 deny all from vipdosug.ru to any
${ipfw} add 709 deny all from vipdosug.org to any
${ipfw} add 709 deny all from ww43.vipdosug.ru to any
${ipfw} add 709 deny all from 217.16.31.0/24 to any
${ipfw} add 709 deny all from 217.16.16.0/24 to any
${ipfw} add 709 deny all from ww43.vipdosug.ru to any
${ipfw} add 711 deny all from maxoporn.com to any
${ipfw} add 712 deny all from grodnomarket.com to any
${ipfw} add 713 deny all from bestoporn.com to any
${ipfw} add 713 deny all from bestporn.ru to any
${ipfw} add 713 deny all from bestporn.com to any
${ipfw} add 713 deny all from sexytetki.com to any

in · Сообщение in » Чт фев 24, 2005 08:49

Gemorroy писал(а):А я в ipcad прописал фильтр. Теперь у меня в детальную стату пишется только входящий интернет трафик. За полгода база выросла примерно на 20 мб.
В конфиге прописано следующее:
interface eth1 promisc filter "ip and not src 192.168.0.0/16";

С сети 192.168.0.0/16 народ ходит уже в мир или это сетка локальная, в которой просто мсбласты гуляют ?
Если локальная, то это все порезано, да. База после этого так шибко расти перестала.
Ну а если это туннель, то так уже не пофильтруешь в моем случае, потому что нужно исходящий тоже считать :/

rdv · Сообщение **rdv** » Чт мар 03, 2005 15:08

сделал я свою цепочку. добавил туда все правила по фильтрации нужных портов. потом добавляюю iptables -A FORWARD -j block_ports она попадает вниз всех цепочек форварда и не обрабатывается. если поставить ее верх iptables -I FORWARD 1 -j block_ports, то если юзер вкл/выкл инет, его цепочка становится первой.... а моя опускается на одну строчку вниз(

а как сделать в форварде переход в мою цепочку сразу?
утм 3.0

Форум компании NetUP

Увеличение размера базы данных

Увеличение размера базы данных

Re: Увеличение размера базы данных