Версия ...0.15
FreeBSD 5.4
Все работает и считает до того момента пока не начинаю делать оптимизацию DB.
Случайно заметил, что после оптимизации куда то девается трафик пользователей причем частично. Плюс к этому искажаются графические отчеты.
Ну с графическими отчетами, черт с ними а вот трафик это да!
К примеру, запустил тестовый UTM 06.11.2005, завел несколько крупных клиентов.
10го числа сделал оптимизацию за период с 01.11.2005 до 11.11.2005 + дополнительная очистка. Все прошло нормально, написала зеленым, что все OK. На трафик не смотрел, есть цифры и есть. Графический отчет сьехал на какието заоблачные прыжки по 200 гигабит, да и ладно.
Сегодня делаю оптимизацию, смотрю на общий отчет по трафику, трафика по всем клиентам до оптимизации 5 терабайт с копейками. Делаю оптимизацию, пишет зеленым, что все прошло OK. Смотрю на трафик 2.5 терабайта. Это как? Ковырять не стал, в логах рыться тоже ибо не понятна сама система оптимизации. Одно могу сказать, что ошибок нету.
Как быть? Оптимизация нужна очень ибо за 10 дней база уже 500 мегабайт.
Оптимизация базы данных
За какой период делаете оптимизацию и с каким шагом ?
Попробуйте делать для контроля выборку суммы в таблице discount_transactions_iptraffic_all за этот период до и после оптимизации - цифры совпадают ?
Суть оптимизации примерно следующая:
идет "склеивание" записей с одинаковыми slink_id, t_class, discount_period_id если их несколько в выбранном шаге оптимизации. В итоге к примеру, из 10 записей получится 1 с сумарными объемом байт. Отсюда и "искажение" графиков.
Попробуйте делать для контроля выборку суммы в таблице discount_transactions_iptraffic_all за этот период до и после оптимизации - цифры совпадают ?
Суть оптимизации примерно следующая:
идет "склеивание" записей с одинаковыми slink_id, t_class, discount_period_id если их несколько в выбранном шаге оптимизации. В итоге к примеру, из 10 записей получится 1 с сумарными объемом байт. Отсюда и "искажение" графиков.
По порядку:
1. Останавливаю собиралку трафика.
2. Даю 5 минут постоять (пока загрузка процесса utm_core не станет равна 0.00%).
3. Делаю kill -HUP для utm_core и жду еще пока опять не опустится до 0.00%.
4. Останавливаю utm_core (для чистоты эксперимента).
5. Делаю Backup базы данных.
6. Лезу в базу данных и делаю запрос:
select sum(bytes) from discount_transactions_iptraffic_all
(так как база сужествует с 6 числа сего месяца временные интервалы не указываю)
7. Результат: 6704999052326
8. Запускаю utm_core, собиралку трафика естественно не запускаю.
9. Захожу в админку.
10. Отчеты/Отчеты по трафику - получаем результат: 6 394 385,387 (не стал делить, но подразумеваю, что не сходство из-за 1024)
11. Захожу Дополнительно/Оптимизация ставлю шаг 24, начальная дата 01.11.2005, конечная дата 16.11.2005 (специально побольше поставил что бы все попало), ставлю галочку - дополнительная очистка. Старт.
Все прошло OK. (Всего записей: 1971200, Обработано строк: 1971200, Строк после оптимизации: 71263)
12. Делаю kill -HUP для utm_core
13. Захожу Отчеты/Отчеты по трафику - получаю результат: 4 446 457,084
14. Останавливаю utm_core.
15. Лезу в базу данных и делаю запрос:
select sum(bytes) from discount_transactions_iptraffic_all
16. Результат: 4662448183491
Вот что в логах мускула:
051115 14:21:43 InnoDB: ERROR: the age of the last checkpoint is 9433809,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
051115 14:22:03 InnoDB: ERROR: the age of the last checkpoint is 9433556,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
051115 14:22:22 InnoDB: ERROR: the age of the last checkpoint is 9433608,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
Вот что в логах utm вот что:
-Stats : Nov 15 14:59:21 UTM5 Config: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 UTM5 DBA: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 UTM5 DBA: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBA:Ctx: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBA:Ctx: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBAGiga: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBAGiga: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBARadius: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBARadius: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 ModFWMan: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 ModFWMan: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 HSPlugin: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 HSPlugin: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 NFBuffer: queue size 0
-Stats : Nov 15 14:59:21 NFBuffer: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 NFBuffer: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 Rehash: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 Rehash: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 RPCServer@0.0.0.0: Stats for 0s. (uptime 2458). Events: 0 (all 7); Errors: 0 (all 5)
-Stats : Nov 15 14:59:21 RPCServer@0.0.0.0: Stats: Uptime: 00:40:58. Events: 7; Errors: 5
-Stats : Nov 15 14:59:21 UTMCtx: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 18)
-Stats : Nov 15 14:59:21 UTMCtx: Stats: Uptime: 00:40:58. Events: 0; Errors: 18
-Stats : Nov 15 14:59:21 ModMap: Stats: Uptime: 00:40:58. Events: 13; Errors: 1
Что делать?
1. Останавливаю собиралку трафика.
2. Даю 5 минут постоять (пока загрузка процесса utm_core не станет равна 0.00%).
3. Делаю kill -HUP для utm_core и жду еще пока опять не опустится до 0.00%.
4. Останавливаю utm_core (для чистоты эксперимента).
5. Делаю Backup базы данных.
6. Лезу в базу данных и делаю запрос:
select sum(bytes) from discount_transactions_iptraffic_all
(так как база сужествует с 6 числа сего месяца временные интервалы не указываю)
7. Результат: 6704999052326
8. Запускаю utm_core, собиралку трафика естественно не запускаю.
9. Захожу в админку.
10. Отчеты/Отчеты по трафику - получаем результат: 6 394 385,387 (не стал делить, но подразумеваю, что не сходство из-за 1024)
11. Захожу Дополнительно/Оптимизация ставлю шаг 24, начальная дата 01.11.2005, конечная дата 16.11.2005 (специально побольше поставил что бы все попало), ставлю галочку - дополнительная очистка. Старт.
Все прошло OK. (Всего записей: 1971200, Обработано строк: 1971200, Строк после оптимизации: 71263)
12. Делаю kill -HUP для utm_core
13. Захожу Отчеты/Отчеты по трафику - получаю результат: 4 446 457,084
14. Останавливаю utm_core.
15. Лезу в базу данных и делаю запрос:
select sum(bytes) from discount_transactions_iptraffic_all
16. Результат: 4662448183491
Вот что в логах мускула:
051115 14:21:43 InnoDB: ERROR: the age of the last checkpoint is 9433809,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
051115 14:22:03 InnoDB: ERROR: the age of the last checkpoint is 9433556,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
051115 14:22:22 InnoDB: ERROR: the age of the last checkpoint is 9433608,
InnoDB: which exceeds the log group capacity 9433498.
InnoDB: If you are using big BLOB or TEXT rows, you must set the
InnoDB: combined size of log files at least 10 times bigger than the
InnoDB: largest such row.
Вот что в логах utm вот что:
-Stats : Nov 15 14:59:21 UTM5 Config: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 UTM5 DBA: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 UTM5 DBA: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBA:Ctx: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBA:Ctx: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBAGiga: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBAGiga: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 DBARadius: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 DBARadius: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 ModFWMan: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 ModFWMan: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 HSPlugin: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 HSPlugin: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 NFBuffer: queue size 0
-Stats : Nov 15 14:59:21 NFBuffer: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 NFBuffer: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 Rehash: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 0)
-Stats : Nov 15 14:59:21 Rehash: Stats: Uptime: 00:40:58. Events: 0; Errors: 0
-Stats : Nov 15 14:59:21 RPCServer@0.0.0.0: Stats for 0s. (uptime 2458). Events: 0 (all 7); Errors: 0 (all 5)
-Stats : Nov 15 14:59:21 RPCServer@0.0.0.0: Stats: Uptime: 00:40:58. Events: 7; Errors: 5
-Stats : Nov 15 14:59:21 UTMCtx: Stats for 0s. (uptime 2458). Events: 0 (all 0); Errors: 0 (all 18)
-Stats : Nov 15 14:59:21 UTMCtx: Stats: Uptime: 00:40:58. Events: 0; Errors: 18
-Stats : Nov 15 14:59:21 ModMap: Stats: Uptime: 00:40:58. Events: 13; Errors: 1
Что делать?
похоже, что-то с базой ... какая версия mysql ?
Попробуйте:
1. Обновить mysql
2. "Потюнить" конфиг my.cnf как описано в FAQ - http://old.netup.ru/fom-serve/cache/49.html
Возможно эти ошибки из-за больших объемов в транзакциях.
Попробуйте:
1. Обновить mysql
2. "Потюнить" конфиг my.cnf как описано в FAQ - http://old.netup.ru/fom-serve/cache/49.html
Возможно эти ошибки из-за больших объемов в транзакциях.