Контентная фильтрация: зачем и как это делать +5


Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.



Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).

В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.

В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.

Большинство поисковых систем в Германии —  Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется  Федеральным департаментом по медиаресурсам, вредным для молодежи.

Самые жесткие меры в Европе установлены в Великобритании. Запрещенный интернет-контент блокируется на уровне операторов связи на основе стандарта Home Office Taskforce on Child Protection on the Internet. Кроме того, британское законодательство обязывает провайдеров отчитываться о том, принимают ли они меры по пресечению доступа к запрещенным интернет-сайтам. Интернет-провайдеры даже передают информацию в «Фонд интернет-наблюдения» (Internet Watch Foundation, IWF) и полицию о подозрительных пользователях и сетевых конференциях. Правда, это касается только распространения детской порнографии, которую в Англии фильтруют на уровне провайдеров для всех. Или, по крайней мере, пытаются.

Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.

Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.

Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.

Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.

1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.

Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:


2. Сначала создаём группу «Учителя»:


3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:


4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:



5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:



6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:



7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:




7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:



8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:


9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:



10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:



11. И, наконец, настраиваем правило для работы с группой «Школьники».


12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.


13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:



Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.

Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.

Подробнее о настройках «черного» списка здесь.

Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.




К сожалению, не доступен сервер mySQL