Парсинг реестра запрещенных сайтов

Вопросы по сопутствующим продуктам производства партнеров
Ответить
Nikiton
Сообщения: 12
Зарегистрирован: Ср апр 27, 2011 12:24

Парсинг реестра запрещенных сайтов

Сообщение Nikiton » Ср мар 21, 2018 07:34

Для собственных целей написали на javascript для node.js скрипты для автоматического скачивания реестра запрещенных сайтов (из vigruzki.rkn.gov.ru) и трепанации (парсинга) его внутренностей. Скрипты соответствуют Памятке оператору связи МинСвязи РФ №4.8

Скрипты умеют:
+ Распознавать необходимость скачивания самого реестра
+ Разбор данных по атрибуту blockType : default, ip, ipSubnet, domain, domain-mask, url в соответствии с Рекомандациями Ромкомнадзора
+ Коррекция данных из атрибутов domain и domain-mask, для применения в ДНС, автоматическое занесение и активация в bind
+ Автоматическое занесение необходимых ip/ipSubnet, url в ALC соответствующего оборудования (маршрутизатор, firewall или DPI), в нашем случае в Mikrotik
+ Автоматическое сравнение предыдущего реестра с актуальным, в случае увеличения данных -> добавление в ACL оборудования. В случае с уменьшения данных <- удаление из ACL оборудования.
+ Все данные проходят внутреннюю проверку на корректность, уникальность для исключения дублирования.

Планируем развивать и актуализировать данный проект под Российские реалии.

За скромное вознаграждение можем поделиться с вами и подсказать как их довести до ума для ваших нужд.

Вопросы: nik@baikaldialog.ru

Ответить