Опыт установки 5.3 на боевом сервере

Технические вопросы по UTM 5.0
Ответить
kirush
Сообщения: 699
Зарегистрирован: Пт фев 04, 2005 13:58

Сообщение kirush »

serjk писал(а):
kirush писал(а):Прошу прощения 5.3-002 RC1
Отправьте мне на почту debug.log в момент инцидента, если еще не заротейтился. Или ссылку на архив пришлите.
на текущий момент к сожалению лог только 7:15 утра :(

serjk
NetUP Team
Сообщения: 719
Зарегистрирован: Пн авг 14, 2006 08:56

Сообщение serjk »

ZeM писал(а):serjk
Сергей я с удовольствием перейду на 5.3-002. Разъясните пожалуйста.

1. С чего вдруг происходит возврат средств? Какие условия способствуют этому?

2. Откуда берутся такие значения РАНДОМНЫЕ 78 рублей и 5239321983274. У меня какае то услуга висит с ценой хотя все проверил нету или что ???

3. DoubleRounding ведь просто скрывает в админке отображение знаков и все.

4. Точность списаний мало интересует. Так как у меня все тарифы круглые. Я тут не про это.
P.S. О том что имеются некие проблемы с абон. платой об этом пишу не только я.
1. Причины вероятно в систематических ошибках, присутствующих в старом коде списаний периодики, либо в действиях администратора (да, такое тоже возможно). Чтобы установить, что в Вашем случае привело к списанию, могут понадобиться логи за весь РП либо отладка ядра на вашей базе.

В условиях, когда проблемный код был полностью переписан (с целью сделать его понятным, логичным и легко отлаживаемым в случае подобных проблем) мы не видим смысла разбираться с проблемами старых версий (особенно учитывая сложность этого разбирательства, и тот факт, что все жалеют место для логов)

2. Дробные числа появляются в результате умножения стоимости услуги на так называемый "коэффициент цены", который рассчитывается биллингом по множеству параметров (например, какую часть периода абонент провел в блокировке - это же не целое число)

serjk
NetUP Team
Сообщения: 719
Зарегистрирован: Пн авг 14, 2006 08:56

Сообщение serjk »

kirush писал(а):
serjk писал(а):
kirush писал(а):Прошу прощения 5.3-002 RC1
Отправьте мне на почту debug.log в момент инцидента, если еще не заротейтился. Или ссылку на архив пришлите.
на текущий момент к сожалению лог только 7:15 утра :(
В нашем случае это скорее всего означает, что информация об инциденте утеряна. Отведите для логов больше места, это бывает полезно..

quiet
Сообщения: 20
Зарегистрирован: Пт окт 02, 2009 08:51

Сообщение quiet »

Думал что проблема из-за нашего netflow, но нет подтвердился диагноз, того что классификатор IP трафика на update6 (или раньше) сломали!

Из того что могу привести, это:
- после запуска биллинга он начинает дико часто создавать записи в debug.log и это нормально, раньше так и было, до переезда на 5.3
" DBConnection_mysql: <0x1d1ba00> SQL query: INSERT INTO discount_transactions_all ..."
- спустя интервал времени ~ сутки в логе debug.log пропадают эти сообщения и биллинг лениво сообщает только о списаниях (телефон, разовые услуги)
- в основом отчете по трафику, весь трафик пропадает с абонов и начинает классифицироваться как ID аккаунта =0, класс трафика корректно определяется, но к абонентам не привязывается!
- беру iptraffic_raw_*.utm и смотрю через утилу get_nf_direct -b, вижу, что IP адреса корректные - существуют у абонентов в биллнге.
- общий отчет по трафику с группировкой по часам, указывает, что данные перестали привязываться к абонам с Apr 03 13-хх по Apr 03 15-хх
вот main.log

Код: Выделить всё

Apr 03 13&#58;03&#58;36  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46835> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 13&#58;03&#58;36  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 13&#58;03&#58;36  ERROR &#58; 889e1700 RfwPlugin&#58; account 46835 not linked to the user, check your database
Apr 03 13&#58;24&#58;28  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46836> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 13&#58;24&#58;28  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 13&#58;24&#58;28  ERROR &#58; 889e1700 RfwPlugin&#58; account 46836 not linked to the user, check your database
Apr 03 13&#58;30&#58;03  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 13&#58;31&#58;14  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 13&#58;31&#58;15  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 13&#58;35&#58;38  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 13&#58;36&#58;27  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 13&#58;36&#58;27  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 13&#58;43&#58;29  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46838> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 13&#58;43&#58;29  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 13&#58;43&#58;29  ERROR &#58; 889e1700 RfwPlugin&#58; account 46838 not linked to the user, check your database
Apr 03 13&#58;45&#58;51  ERROR &#58; 7a1e0700 IPaddressClassifierImpl&#58; remove_ip&#58; unable to remove IP 10.23.0.218/32&#58; IP/mask not found
Apr 03 13&#58;46&#58;12  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 13&#58;46&#58;46  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 13&#58;53&#58;59  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46839> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 13&#58;53&#58;59  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 13&#58;53&#58;59  ERROR &#58; 889e1700 RfwPlugin&#58; account 46839 not linked to the user, check your database
Apr 03 14&#58;00&#58;14  ERROR &#58; 88ce4700 DBAExistingError&#58; trying to get not existing periodic link 327314
Apr 03 14&#58;00&#58;14  ERROR &#58; 88ce4700 PeriodicEventScheduler&#58; get_periodic_link_events&#58; failed for slink 327314
Apr 03 14&#58;00&#58;27  ERROR &#58; 88ce4700 DBAExistingError&#58; trying to get not existing periodic link 307690
Apr 03 14&#58;00&#58;27  ERROR &#58; 88ce4700 PeriodicEventScheduler&#58; event handler error&#58; DBAExistingError&#58; trying to get not existing periodic link 307690
Apr 03 14&#58;00&#58;27  ERROR &#58; 88ce4700 DBAExistingError&#58; trying to get not existing periodic link 316038
Apr 03 14&#58;00&#58;27  ERROR &#58; 88ce4700 PeriodicEventScheduler&#58; event handler error&#58; DBAExistingError&#58; trying to get not existing periodic link 316038
Apr 03 14&#58;07&#58;59  ERROR &#58; 88ce4700 DBAExistingError&#58; trying to get not existing periodic link 331529
Apr 03 14&#58;07&#58;59  ERROR &#58; 88ce4700 PeriodicEventScheduler&#58; event handler error&#58; DBAExistingError&#58; trying to get not existing periodic link 331529
Apr 03 14&#58;10&#58;10  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 14&#58;17&#58;20  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 14&#58;17&#58;21  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 14&#58;36&#58;38  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 14&#58;59&#58;03  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 14&#58;59&#58;03  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;08&#58;20  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;08&#58;20  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;10&#58;05  ERROR &#58; 88ce4700 DBAExistingError&#58; trying to get not existing periodic link 375627
Apr 03 15&#58;10&#58;05  ERROR &#58; 88ce4700 PeriodicEventScheduler&#58; get_periodic_link_events&#58; failed for slink 375627
Apr 03 15&#58;14&#58;20  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;14&#58;20  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;14&#58;48  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;14&#58;48  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;16&#58;33  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46842> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 15&#58;16&#58;33  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 15&#58;16&#58;33  ERROR &#58; 889e1700 RfwPlugin&#58; account 46842 not linked to the user, check your database
Apr 03 15&#58;22&#58;22  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46843> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 15&#58;22&#58;22  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 15&#58;22&#58;22  ERROR &#58; 889e1700 RfwPlugin&#58; account 46843 not linked to the user, check your database
Apr 03 15&#58;26&#58;07  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;26&#58;08  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;26&#58;12  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;26&#58;13  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;26&#58;14  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;26&#58;15  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;29&#58;40  ERROR &#58; 7a5e4700 IPaddressClassifierImpl&#58; remove_ip&#58; unable to remove IP 10.12.12.202/32&#58; IP/mask not found
Apr 03 15&#58;33&#58;16  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;34&#58;35  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46844> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 15&#58;34&#58;35  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 15&#58;34&#58;35  ERROR &#58; 889e1700 RfwPlugin&#58; account 46844 not linked to the user, check your database
Apr 03 15&#58;35&#58;14  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;35&#58;14  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;39&#58;50  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;39&#58;50  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;40&#58;06  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;40&#58;06  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;40&#58;14  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;40&#58;15  ERROR &#58; 7bcfb700 DBAGenericError&#58; Incorrect card number&#58; secret
Apr 03 15&#58;42&#58;26  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;42&#58;26  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;42&#58;59  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;42&#58;59  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;47&#58;05  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;47&#58;05  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;49&#58;14  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;49&#58;14  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;55&#58;12  ERROR &#58; 889e1700 RfwPlugin&#58; entity <46845> not found in <account2user> at /build/5.3-001-update6/utm5_core/plugins/affectors/rfw_plugin.cc, line 780
Apr 03 15&#58;55&#58;12  ERROR &#58; 889e1700 DBAGenericError&#58; account2user not exist
Apr 03 15&#58;55&#58;12  ERROR &#58; 889e1700 RfwPlugin&#58; account 46845 not linked to the user, check your database
Apr 03 15&#58;57&#58;37  ERROR &#58; 7a7e6700 IPaddressClassifierImpl&#58; remove_ip&#58; unable to remove IP 10.7.4.11/32&#58; IP/mask not found
Apr 03 15&#58;59&#58;22  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;59&#58;22  ERROR &#58; 889e1700 RfwPlugin&#58; process_session&#58; slink_id==0
Apr 03 15&#58;59&#58;32  ERROR &#58; 7a7e6700 IPaddressClassifierImpl&#58; remove_ip&#58; unable to remove IP 10.22.1.153/32&#58; IP/mask not found
проверьте у себя сталкивались с такой проблемой?

Аватара пользователя
ZeM
Сообщения: 371
Зарегистрирован: Чт фев 17, 2011 08:38

Сообщение ZeM »

У меня нормально. А у Вас походу база покрашилась. Проверьте на всякий sql сервер и наличие verificator.log.

quiet
Сообщения: 20
Зарегистрирован: Пт окт 02, 2009 08:51

Сообщение quiet »

верификатор при запуске чистый

Аватара пользователя
Magnum72
Сообщения: 1947
Зарегистрирован: Чт сен 22, 2005 06:54
Контактная информация:

Сообщение Magnum72 »

Походу баг нашел:
1) Нигде не фиксируется время подключения и отключения услуг. (Фиг разберешься, если можно добавьте в юзер лог события)
2) Для ТП в юзерлоге фиксируется только ид тарифной связки, если возможно дописывать еще и ID тарифных планов
3) В момент отключения услуги не до списываются средства с момента последнего списания до момента удаления услуги, при этом в политиках стоит галочка "Возврат средств при удалении услуги" но это не то, нам не вернуть деньги надо в забрать, причем только ту сумму которая прошла с с момента последнего списания до момента удаления услуги.
4) В момент подключения услуги даже если стоит политика с перерасчетом АП с абонента списывается некая сумма, которая как я подозреваю рассчитывается как: (абонплата /кол-во списаний в периоде) * кол-во минут до следующего списания:

период один час с 13:00 до 14:00
АП = 10000
количество списаний в неделю 1008 (каждые 10 минут)
подключаем услугу в 13:52

имеем:
после подключения услуги списывается: (10000/6)/10*8 = 1333

Помоему это неправильно, вернее это наверное правильно при не переодическом списании, а при переодическом списании эта сумма должны быть списана в момент очередного списания, но не как не в момент подключения услуги.

Я только сейчас подумал, получается что мы как то плавно перешли от пост к авансовой системе учета, т. е. раньше попользовались услугой от очередного списания к очередному, после этого сумма списалась, а сейчас сначала списываем потом пользуемся до следующего списания.

Аватара пользователя
ZeM
Сообщения: 371
Зарегистрирован: Чт фев 17, 2011 08:38

Сообщение ZeM »

Вот проблема с формированием детальзации трафика.
Изображение
Ставил хоть 4 гига памяти все равно падает.
Кроме того не хило это грузит CPU компа под 100%.
ПК win8.1 x64
Core i3 3.3Ггц памяти 8 гиг.
Оптимизации этого дела никакой. У всех так ?
Была программа от JAO но к 5.3 она не подходит. Там за пару минут можно перелопатить было файл с деталькой и выгрузить в CSV все что нужно.

kirush
Сообщения: 699
Зарегистрирован: Пт фев 04, 2005 13:58

Сообщение kirush »

Не подтвердилось:

OS: OS X 10.9.3

$ java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

Памяти съела 386Мб и не увеличивается.
Проц в минимуме.
Отчет сформиловала в 9999 записей и предложила продолжить или нет. Не стал продолжать.
Zem, или у тебя ошибка после 9999 записей?

Аватара пользователя
ZeM
Сообщения: 371
Зарегистрирован: Чт фев 17, 2011 08:38

Сообщение ZeM »

После 9999 там чето 600 тыс записей и финиш.

Point
Сообщения: 241
Зарегистрирован: Вт ноя 23, 2010 15:42

Сообщение Point »

ZeM писал(а):После 9999 там чето 600 тыс записей и финиш.
Я уж давно просил кого-нибудь озадачиться парсером, сам к сожалению не думаю, что осилю данное действо :(, но сообщество молчит как рыба об лёд...

serjk
NetUP Team
Сообщения: 719
Зарегистрирован: Пн авг 14, 2006 08:56

Сообщение serjk »

Используете get_nf_direct

Так же, макс. количество записей определяется в списке настроек raw_records_send_limit (по умолчанию 100к)

Аватара пользователя
ZeM
Сообщения: 371
Зарегистрирован: Чт фев 17, 2011 08:38

Сообщение ZeM »

raw_records_send_limit стояло 10000000.
Если get_nf_direct то через админкку можно и не пытаться?
Можно пример как выцепить vk.com из детальки iptraffic_raw_1395398636.utm в 17.03 и выгрузить в файл просто никогда не пользовался?

JAO
Сообщения: 1153
Зарегистрирован: Вт дек 11, 2007 08:17

Сообщение JAO »

Парсер в стадии осмысления. Самому может понадобиться. Описание формата открыли, и это радует.

kirush
Сообщения: 699
Зарегистрирован: Пт фев 04, 2005 13:58

Сообщение kirush »

Подскажите, что делаю не правильно:
Вчера 09.10.2014 завел тестового пользователя ввел его принудительно в -1 руб:
У пользователя наступила "Системная блокировка", условия:
Изображение

Сегодня решил проверить, внеся на счет 2 руб. Имеем:
Изображение
Изображение

По логике, после снятия блокировки и внесения платежа +2 руб, сегодня должно быть у абонента +1 руб.
Почему снялись 1.51 руб в качестве абонентки и не вернулись абоненту на лицевой счет (есть два условия: при снятии блокировки, при платеже).
Связано ли это с тем, что условия снятия абонентки были изменены вчера, а не с начала расчетного периода. Может это верно заработает с 1го числа, когда сменится расчетный период у абонента (1 числа каждого месяца).
debug.log если нужен смогу предоставить.
Последний раз редактировалось kirush Чт апр 10, 2014 09:14, всего редактировалось 1 раз.

Ответить