Сайт о телевидении

Сайт о телевидении

» » Что такое дополнительная услуга веб фильтрации. Системы контентной веб-фильтрации

Что такое дополнительная услуга веб фильтрации. Системы контентной веб-фильтрации

В мае 2009 года правительство Китая потребовало установки Web-фильтра Green Dam Youth Escort на всех персональных компьютерах, которые будут проданы в Китае начиная с июля. Официально объявленная цель этого указания – защита детей от доступа к сайтам, пропагандирующим порнографию и насилие, а также к другим «вредным» страницам. Однако этот шаг сразу же вызвал немало возражений у общественности.

Специалисты по безопасности утверждают, что фильтр работает некорректно и имеет уязвимости, которые могут сделать ПК открытым для различного рода угроз. Сторонники свободы слова выражали опасение, что правительство может использовать фильтр для мониторинга действий пользователя в Сети и блокировки сайтов, затрагивающих острые политические вопросы. Американское правительство потребовало от Министерства промышленности и информационной технологии и от Министерства торговли Китая отменить требование об установке Green Dam, ссылаясь на принципы свободной торговли.

В ответ на эти протесты китайское правительство пообещало «отложить» обязательную установку фильтра на ПК, за исключением компьютеров, используемых в школах, интернет-кафе и других общественных местах.

Примерно в то же время, после противоречивых перевыборов президента Махмуда Ахмадинежада в Иране, критики обвинили правительство этой страны в блокировке таких сайтов, как Facebook и YouTube, которые использовались для публикации информации о столкновениях с полицией, а также сайтов, аффилированных с лидером оппозиции. Иранское правительство также подозревали в мониторинге использования Интернета для отслеживания лиц, протестовавших против результатов выборов.

Вопрос о цензуре в Web вновь привлек внимание общественности в январе 2010 года, когда компания Google.cn приняла решение прекратить выполнение требований правительства Китая о цензуре результатов поиска по запросам, связанным с политическими и социальными вопросами. После достаточно продолжительных раздумий компания пришла к такому решению в ответ на произошедшие за последние месяцы хакерские атаки на учетные записи Gmail китайских активистов борьбы за права человека. Госсекретарь США Хилари Клинтон публично поддержала Google и призвала положить конец цензуре Web во всем мире, чем вызвала недовольство Китая.

Как средство массовой информации Web уникальна – традиционным печатным изданиям требуется время на то, чтобы опубликовать информацию и физически распространить ее, а электронные масс-медиа, в частности радио и телевидение, как правило, зависят от официальных лицензий на осуществление свой деятельности, и эта деятельность либо регулируется государством, либо подвержена внутренней цензуре в обмен на уменьшение нажима со стороны законодательства. Web позволяет легко публиковать самый разный контент, причем глобально, в режиме реального времени на ПК и на различных мобильных устройствах.

В современном обществе Web воспринимают как средство массовой информации, где цензура отсутствует, и она олицетворяет собой полную свободу выражать свои мысли. В действительности информация в Web отнюдь не столь бесконтрольна, как это может показаться. Согласно данным OpenNet Initiative, свыше 40 стран активно фильтруют доступ в Web, выборочно блокируя контент для миллиарда пользователей Internet по всему миру, а многие государства рассматривают такую возможность.

Как работает фильтрация в Web

Web-фильтры отличаются по сложности, детальности, точности, местонахождению и прозрачности. Простые Web-фильтры реализовать легко, но они работают довольно грубо. К тому же мотивированные пользователи, как правило, с большей готовностью стремятся обнаружить и обойти их.

Черные списки IP-адресов и URL

Простейшие Web-фильтры используют черные списки IP-адресов. Основное их преимущество – скорость. Фактически это быстрый поиск в таблице. Именно благодаря высокой скорости такого подхода Web-фильтрацию можно выполнять в сети в «точках блокировки», где собирается трафик, например в шлюзах между смежными национальными сетями. Однако простота черных списков обусловливает и два их главных недостатка. Во-первых, для непрерывного обновления черного списка требуются большие ресурсы. Во-вторых, черный список IP-адресов работает слишком грубо – фильтр либо блокирует, либо разрешает весь Web-контент, получаемый с данного IP-адреса.

Черные списки URL обеспечивают большую детализацию и зачастую реализованы на серверах DNS, которые определяют IP-адреса по именам соответствующих доменов. Когда DNS-сервер получает запрос на разрешение имени, он проверяет наличие данного URL в черном списке. Если этот URL есть в списке, сервер вернет некорректный IP-адрес или IP-адрес по умолчанию. Черный список URL обладает теми же недостатками, что и список IP-адресов, – их поддержка и обновление требуют значительных усилий.

Оба списка можно использовать для фильтров, размещаемых на прокси-сервере, которые часто применяются для локального кэширования Web-контента. В такой кэш-памяти хранится недавно запрошенный контент, и если пользователям он снова требуется, то он передается из кэша прокси-сервера, а не с оригинального сервера. Поскольку весь Web-контент проходит через прокси-сервер, то последний становится очень удобным местом для фильтрации.

При всех обращениях в Web-фильтры, размещаемые на прокси-сервере, проверяют попадание адреса в черные списки IP-адресов или URL. При обнаружении совпадения фильтр может вернуть «заблокированную страницу» с сообщением об ошибке. В некоторых странах, например в Китае и Иране, пошли еще дальше и блокируют URL, содержащие запрещенные ключевые слова. Однако ключевые слова не всегда точно отражают содержимое соответствующей Web-страницы, например, слово sex в URL содержат многие другие виды сайтов, помимо порнографических, и, наоборот, блокировка URL с таким словом не всегда позволяет отследить порнографические сайты.

Фильтрация контента

Фильтрация контента в режиме реального времени на прокси-сервере или на Web-клиенте имеет два важных преимущества перед черными списками IP-адресов или URL. Во-первых, фильтр анализирует Web-контент, когда происходит обращение к странице, и не требует предварительной установки черного списка. Во-вторых, решение о фильтрации принимается для отдельных Web-страниц или даже для элементов внутри них. Однако к фильтру контента предъявляются два сложных и иногда взаимоисключающих требования: он должен обладать достаточным «интеллектом» для того, чтобы распознать нежелательную страницу или контент внутри страницы, и при этом работать довольно быстро. Фильтры контента, как правило, используют методы машинного обучения и искусственного интеллекта для того, чтобы установить, к какой из предопределенных категорий относится данная Web-страница (рис. 1a). Пользователи или сетевые администраторы могут настроить фильтр так, чтобы он блокировал или разрешал доступ для каждой из категорий отдельно. При этом немаловажное значение имеет скорость работы, поскольку пользователям не хватает терпения, и они уходят с сайта, если тот возвращает запрошенный контент слишком медленно.

Для определения категории Web-страницы интеллектуальные фильтры контента анализируют различные ее элементы, в том числе метаданные, ссылки, текст, изображения и скрипты. Метаданные в заголовке Web-документа могут содержать информацию об авторстве и ключевых словах.

Анализ ссылок основывается на принципе «виновности в соучастии». Как правило, страницы имеют ссылки на страницы одного и того же типа. Например, новостной сайт, скорее всего, содержит ссылки на другие новостные сайты. Ссылки, приводимые на странице, могут многое сказать о ее теме.

Текстовый анализ имеет большое значение для фильтров контента, поскольку многие Web-страницы в основном текстовые. Как правило, фильтры контента выполняют грамматический разбор текста, находят ключевые слова и применяют методы машинного обучения для того, чтобы определить наиболее подходящую для данной страницы категорию. Однако этот подход не совершенен без семантического анализа, поскольку иногда трудно понять разные контексты – например, преследует ли страница с сексуальным контентом образовательные или порнографические цели.

Анализ изображений имеет существенное значение для классификации порнографических сайтов, но точность классификации может быть низкой. Во время анализа изображений обычно происходит поиск областей, закрашенных телесным цветом, но эта задача усложняется тем фактом, что существует множество оттенков цветов кожи и возможны различные условия освещенности.

Анализ активного контента, такого как JavaScript, VBScript и элементы управления ActiveX, позволяет корректно установить и отфильтровать вредоносные Web-страницы. В частности, JavaScript часто используется для фишинга и принудительной загрузки контента. К сожалению, иногда код настолько запутан, что его невозможно проанализировать, и в этом случае приходится выполнять код в интерпретаторе JavaScript и смотреть, что он делает.

Green Dam

Green Dam – это Web-фильтр для настольной системы, который сначала проверяет наличие запрошенного URL в черных списках, а затем сканирует текст в поисках непристойных или политически острых фраз.

Для того чтобы отфильтровать порнографию, в Green Dam предусмотрен сканер изображений, который применяется для идентификации областей, закрашенных телесным цветом, и ввода характеристик таких областей, например формы для обучения классификатора, использующего метод опорных векторов (Support Vector Machine, SVM). Дополнительно предпринимаются попытки распознать лицо человека, как утверждается, с помощью свободно распространяемого программного обеспечения распознавания изображений OpenCV. Если лицо человека не является основным компонентом, фильтр классифицирует изображение как порнографическое и блокирует сайт, как показано на рис. 1б.

Данный алгоритм основан на распознавании цвета кожи и лиц, поэтому неудивительно, что Green Dam ненадежен, например, он ошибочно фильтрует изображения кота Гарфилда, Джонни Деппа, Пэрис Хилтон и куска свинины.

Государственная цензура Web

Государство всегда предпринимало попытки контролировать традиционные средства массовой информации, а потому можно было предположить, что и в Web непременно появится государственная цензура. Однако о том, насколько она масштабна, до появления данных OpenNet Initiative было неизвестно.

Отфильтрованный контент

Все согласны с тем, что определенный Web-контент наносит вред и его необходимо отфильтровывать. В частности, это касается такого контента, как мошенничество, спам, вредоносные программы, детская порнография и призывы к терроризму. Фильтрация Web, осуществляемая государством, в целом ориентирована на четыре типа контента:

  • политическое инакомыслие;
  • социальное отклонение от нормы, например пропаганда ненависти, порнография и азартные игры;
  • угроза национальной безопасности, в частности терроризм;
  • определенные интернет-сервисы, такие как средства обеспечения анонимности, блоги, одноранговый обмен информацией и социальные сети.

Государственные Web-фильтры в Китае и Иране считаются одними из самых жестких, однако ту или иную форму Web-фильтрации сегодня применяет большинство стран. Даже в США, где, как считается, меньше всего ограничений, Web-фильтрация часто используется в местах общественного доступа в Интернет – в школах и библиотеках, а также в зданиях частных компаний.

Китай

В 2003 году Министерство общественной безопасности Китая начало проект Golden Shield Project, который также называют «Великим брандмауэром Китая». Это широко развернутая сеть мониторинга и управления доступом как к внутрикитайским, так и к зарубежным сайтам. Весь трафик с зарубежных сайтов попадает в страну через три контрольные точки – международные шлюзы или точки обмена Интернета: Пекин-Циндао-Тяньцзинь на севере (трафик из Японии); Шанхай на центральном побережье (трафик также из Японии); Гуанчжоу на юге (трафик из Гонконга). Небольшой объем трафика также получают по спутнику, но спутниковые соединения медленны и дороги.

Два основных магистральных провайдера, China Netcom и China Telecom, используют блокировку IP-адресов на международных шлюзах. Магистральные провайдеры также выполняют фильтрацию на основе URL, содержащих определенные ключевые слова. За счет искажения DNS по запросам DNS для этих URL может возвращаться ошибка «сайт не найден».

Если в большинстве стран используется исключительно фильтрация IP-адресов или URL, то в Китае применяют фильтрацию контента с помощью интернет-провайдеров, получающих государственные лицензии. Фильтры контента, приобретенные главным образом у иностранных компаний, занимающихся обеспечением безопасности, анализируют пакеты в поисках нежелательного для властей контента, например, таких ключевых слов, как «демократия» или «64» (от «4 июня», в этот день в 1989 году произошли столкновения на площади Тяньанмэнь в Пекине). Эти фильтры могут прервать соединения с сайтами, содержащими запретный контент, посредством сброса TCP, а затем временно блокируют все дальнейшие попытки соединения с тем же самым IP-адресом. Запретные Web-сайты в Китае требуют официальной регистрации и могут быть закрыты.

Web-фильтрация – лишь один инструмент из широкого спектра программ мониторинга и цензуры. Считается, что правительство Китая имеет в своем распоряжении многочисленную киберполицию, состоящую в основном из студентов университетов, которые постоянно проверяют Web-сайты, блоги и дискуссионные форумы. Они ищут запрещенный контент, особенно политического свойства, участвуют в онлайновых дискуссиях для того, чтобы повлиять на общественное мнение, выявляют и отслеживают авторов подрывного контента и оказывают давление на общество, заставляя сообщать о людях, вовлеченных в запрещенную онлайн-деятельность. Система карт электронного доступа, используемая в интернет-кафе, позволяет идентифицировать пользователя до того, как он сможет выйти в онлайн. Виновных увольняют с работы, подвергают штрафам или тюремному заключению.

Если для Web-цензуры Китая характерно отсутствие прозрачности, то такие государства, как Саудовская Аравия, открыто объявляют о своей политике цензуры в Web и ее обоснованиях. Пользователь, который попытался обратиться на запрещенный сайт, получает заблокированную страницу, объясняющую, что этот сайт запрещен (рис. 2). Граждане страны могут уточнить правомерность блокирования запроса на URL.

Масштабы Web-цензуры в Китае точно не известны, и, по-видимому, уровень цензуры варьируется в зависимости от политической ситуации в стране. Пользователи о факте фильтрации могут и не догадываться - они видят ошибки соединения, но не заблокированные страницы с понятными объяснениями. Кроме того, фильтры контента, базирующиеся на ключевых словах, могут в один день блокировать Web-страницу, а на следующий день разрешить к ней доступ, если содержимое страницы изменилось. Как следствие, китайские пользователи никогда не знают, связана ли невозможность доступа к сайту с преднамеренной фильтрацией или со случайной перегрузкой в Сети. Такая неопределенность на самом деле делает Web-цензуру более эффективной, поскольку невозможно изучить, как работают фильтры, и, как следствие, неизвестно, как их обойти.

Обход фильтров

Поскольку правительство Китая, по-существу, ведет программу скрытой цензуры Web, решение об установке на настольные системы фильтра Green Dam вызвало недоумение. Даже если этот фильтр установят на каждый ПК, его легко можно будет отключить.

Пользователи, которые хотят это сделать, могут обойти Web-фильтр, например избежав проверок в черном списке URL, если напрямую укажут IP-адрес сервера. В Китае Golden Shield не пытается читать или подвергать цензуре зашифрованный трафик, например имеющийся в виртуальных частных сетях (VPN). Практически все иностранные компании в Китае используют VPN, и их блокировка могла бы крайне негативно повлиять на торговлю.

Граждане Китая также применяют различный прокси-инструментарий, в том числе GTunnel, Psiphon и UltraSurf. Эти продукты используют сочетание прокси, шифрования и «луковую маршрутизацию» (onion routing) для того, чтобы обеспечить автоматический и неподцензурный доступ в Web.

Если Web-фильтрацию обойти не составляет труда, тогда зачем она нужна? В случае Китая цель, по-видимому, заключается в том, чтобы создать серьезные трудности для 350 млн пользователей Интернета в этой стране, отбить у большинства из них охоту посещать определенные иностранные сайты и вынудить обращаться на отечественные сайты, которые жестко регулируются. Лишь незначительное меньшинство обладает техническими знаниями, позволяющими найти способ обойти государственную цензуру.

Для тех, кто интересуется масштабом цензуры в Web, проект Herdict Web (www.herdict.org) собирает отчеты о сайтах, на которые не могут попасть многие пользователи, что, возможно, является признаком их цензуры. Томас Джефферсон однажды заметил: «Цена свободы – это вечная бдительность».

Томас Чен ([email protected] ) – профессор Инженерной школы Университета Сванси (Великобритания); Виктория Ванг ([email protected] ) – сотрудник Центр уголовного судопроизводства и криминологии Университета Сванси.

Thomas M. Chen, Victoria Wang. Web Filtering and Censoring, IEEE Computer, March, 2010. IEEE Computer Society, 2010. All rights reserved. Reprinted with permission.

Россия: цензура или защита?

После завершения отечественного проекта «Интернет в каждую школу» возник вопрос, а что же именно получили российские школы? Оказалось, что дети получили доступ не только к образовательным, но и к развлекательным ресурсам, поэтому актуальной стала проблема ограждения школьников от «агрессивного контента» (порнографии и террористических сайтов, согласно формулировкам в официальных документах).

Компания, победившая в тендере на создание «школьного портала», одним из требований которого было ограждение детей от агрессивного контента, вручную просеяла тысячи сайтов, выбрав безопасные, однако через несколько месяцев часть «хороших» сайтов превратилась в «агрессивные». Аналогичные попытки были предприняты в проектах «Гогуль» и «Тырнет», нацеленных на создание замкнутого доверенного пространства в Интернете, формируемого по принципу «запрещено все, что явно не разрешено». Это почти идеальная защита, однако непонятно, насколько популярны у детей такие проекты. В условиях отсутствия фильтрации открытого Web в России такие проекты не обеспечивают цензуры в Интернете – они замыкаются в себе.

Вместо фильтрации трафика российские правоохранительные органы озаботились закрытием сайтов с «агрессивным контентом», сформировав, в частности, для этого фонд «Дружественный Рунет », при котором имеется горячая линия для сообщений о негативном контенте. Любой человек может обратиться с жалобой на ресурс, сотрудники фонда проверяют жалобу, и, если ресурс действительно опасный, то готовят документы, необходимые для его закрытия, и передают их в Управление «К». Кроме этого, некоторые сайты закрываются сегодня самими провайдерами или регистраторами доменных имен, подписавшими соглашения по борьбе с агрессивным контентом.

В целом же фильтрация Сети в России отдана на усмотрение самих пользователей – практически во всех браузерах сейчас встроены фильтры, позволяющие защититься от вредоносной активности в Web, а в антивирусных продуктах класса Internet Security появилась функция «Родительский контроль». В частности, такой фильтр есть в Kaspersky Internet Security, Norton Internet Security и др., однако по умолчанию они установлены в неактивном состоянии. Кроме того, в любой момент такая фильтрация может быть отключена, поэтому можно говорить не о цензуре, а о защите от вредоносных сайтов.

Фильтрацию трафика часто практикуют российские компании путем установки шлюзовых решений, однако целью здесь является не защита от «агрессивного контента», а экономия средств на работу с Сетью и защита от нецелевого использования ресурсов. Тот же компонент, который в персональных средствах защиты представляется как родительский контроль, в корпоративных продуктах называется инструментом URL-фильтрации, хотя работают эти компоненты по одинаковой технологии и даже используют одну базу запретных адресов.

Вообще же технологии Web-фильтрации, которые активно используются в России, не являются цензурой – это средство защиты от вредоносных программ, которые сейчас в основном проникают на компьютеры пользователей из Сети. URL-фильтр в большей степени защищает от загрузки и запуска браузером различных компонентов JavaScript и ActiveX с подозрительных сайтов, чем для блокирования страниц по содержанию. В некоторых случаях анализ собственно страницы даже вредит, поскольку у такого метода слишком много ложных срабатываний, что приводит со временем к отключению подобного фильтра. При этом наиболее часто для составления базы вредоносных URL используются репутационные базы.

Российский регулятор пока не навязывает фильтрацию содержимого Web: все продукты, кроме «школьного Интернета», покупаются и внедряются компаниями и отдельными гражданами самостоятельно и ни о какой целенаправленной политике в этом смысле говорить не приходится.

Валерий Коржов ( ) – обозреватель Computerworld Россия (Москва).

Фильтрация в России

На данный момент директивной всеобщей фильтрации контента в России нет и законодательно такая практика не закреплена, однако, в рамках некоторых национальных проектов такой механизм применяется.

Наиболее известный пример централизованного внедрения фильтрации в рамках всей страны – приоритетная национальная программа «Образование», которая была реализована в 2006-2008 годах. Конечной целью программы было подключение всех «общеобразовательных учреждений России к сети Интернет». В рамках этой программы Министерство Образования издало 10 декабря 2006 года распоряжение «О реализации контентной фильтрации доступа образовательных учреждений, подключаемых к сети Интернет в рамках ПНПО», а Центр анализа интернет-ресурсов в дальнейшем разработал необходимое ПО – систему исключения доступа (СИД) в образовательных учреждениях, которое было установлено в 60 тыс. российских школ.

В СИД реализовано два уровня фильтрации. Первый – DNS-фильтрация доступа к сайтам, которые могут содержать противоправный контент. Второй – межсетевая фильтрация и персональная фильтрация контента. Аналогичные системы фильтрации предполагается внедрить и в рамках других перспективных национальных проектов.

Более серьезным фактором контроля доступа к информационным ресурсам Интернет является СОРМ (Система оперативно-розыскных мероприятий, расширенная на сети передачи данных). Согласно статье 64 главы 9 закона «О связи» («Обязанности операторов связи и ограничение прав пользователей услугами связи при проведении оперативно-розыскных мероприятий, мероприятий по обеспечению безопасности Российской Федерации и осуществлении следственных действий»), провайдеры обязаны передавать информацию о пользователях уполномоченным государственным органам.

Приказ №6 Министерства связи от 16 января 2008 года (СОРМ-2) определяет необходимость реализации провайдером функций перехвата трафика на сетях передачи данных, в том числе и в Интернет.

Фактически провайдеры ничего не передают, а обеспечивают возможность тотального контроля всего трафика, и сегодня эта система активно эксплуатируется, создавая чувствительную нагрузку на сети провайдеров, а недавние сообщения в СМИ о задержаниях персон, совершивших противоправные действия, говорят о том, что система работает достаточно эффективно.

Коммерческие фильтры DNS, электронной почты и контента используются многими российскими провайдерами доступа в Сеть, провайдерами хостинга, а также их клиентами. Наиболее популярны здесь черные списки, причем самой большой головной болью российских провайдеров является Spamhaus. Базу данных этой некоммерческой английской организации для фильтрации электронной почты использует множество отечественных компаний, однако в эту базу попадали (попадают и будут попадать) такие законопослушные компании как Comstar, MTU, Agava, RU-CENTER, и многие другие. Попасть в систему очень легко, а вот выбраться из нее – нет. Любопытно, что многое из того, на что ссылаются в Spamhaus при «разборе полетов», оказывается недостоверно, поэтому в ряде случаев провайдерам имеет смысл связываться с первоисточником для решения проблем.

Другой пример коммерческого использования фильтров – это DNS-фильтрация, предоставляемая, например, OpenDNS и Google. Суть услуги заключается в предоставлении провайдеру или частному лицу кэширующего сервера доменных имен, который осуществляет в Сети поиск IP-адреса запрашиваемого информационного ресурса. В рамках этого сервиса клиент может настроить различные фильтры, которые позволят либо запретить доступ к ресурсу, либо перенаправить запрос на другой сервер.

Аналогичный сервис в 2010 году запустил Google (Public DNS) – считается, что независимый DNS-провайдер может за счет превентивного кэширования обеспечить меньшее время отклика поиска IP-адресов, чем это делает сервер провайдера подключения к Сети. При этом сам сервер пользователь получает бесплатно, а вот дополнительные услуги, в том числе и возможность фильтрации, могут предоставляться за дополнительную плату.

Динамическая фильтрация широко распространена при борьбе с DDоS-атаками (распределенная атака типа «отказ в обслуживании). Пожалуй, нет такого провайдера, который не прибегал бы к этому способу фильтрации трафика. Как правило, при фильтрации данного типа ориентируются на динамические списки IP-адресов, блоков адресов или автономные системы.

В ряде случаев фильтрация по спискам IP-адресов неэффективна, например фильтрация фишинговых сайтов, использующих технологию fast-flux, когда у сайта сохраняется доменное имя, но IP-адрес очень быстро изменяется, поэтому очевидно, что следует фильтровать домен, а не адрес.

И последнее. При борьбе с ботнетами сегодня можно не ждать, когда ресурс будет захвачен, а превентивно самим его захватывать. Например, при анализе кода червя Confiker было выявлено, что программа использует генератор доменных имен, на которые может посылать запросы. Рабочая группа по борьбе с этим червем рекомендовала превентивно зарегистрировать эти имена. С этой целью в доменах RU и SU были созданы специальные регистраторы, которые на время регистрируют домены Confiker, а потом их освобождают. К слову сказать, анализ запросов к реестру соответствующих доменов и к сервисам Whois показал, что этот червь за два года ни разу не прибегал к зарегистрированным доменам.

Павел Храмцов ([email protected] ) – независимый эксперт (Москва).


Скорость изменений технологий оказывает непосредственное влияние на их суть – для ИТ, это информация, фокус обеспечения безопасности которой сегодня неумолимо смещается с традиционной защиты корпоративного сетевого периметра к защите собственно информации.

Веб-фильтр Remparo централизованно регулирует доступ пользователей к ресурсам в Интернете без необходимости вручную вносить каждую отдельную страницу в черный список. Remparo автоматически определяет тематику страницы и в зависимости от политики фильтрации принимает решение о блокировке доступа к ней, не затрагивая все остальные документы сайта.

Применение веб-фильтра повышает эффективность использования Интернета на рабочем месте. Remparo расширяет периметр безопасности корпоративных и домашних пользователей, упрощает предоставление качественной услуги «Родительский контроль» у провайдеров и осуществляет фильтрацию по спискам Роскомнадзора.

Как работает веб-фильтр

Remparo анализирует содержимое запрошенной страницы, выделяет главные ключевые слова, определяет их вес, связи между терминами и определяет тематику страницы. После этого веб-фильтр применяет заданные администратором правила: блокирует доступ к проанализированной странице или выводит предупреждение о наличии на ней недопустимого контента. При этом Remparo блокирует лишь изученную страницу, а не весь сайт.

В качестве дополнительного фильтра Reparo использует черные списки сайтов из Федерального списка экстремистских материалов Министерства Юстиции РФ, а также из Единого реестра запрещенных сайтов (Роскомнадзор). Широкий выбор политик фильтрации Remparo позволяет классифицировать пользователей на группы и для каждой задавать разную фильтрацию и расписание.

В основе контентного веб-фильтра Remparo - технология «Семантическое зеркало», разработанная компанией «Ашманов и партнеры». Проект находится на стадии разработки и является резидентом Сколково.

Почему нас выбирают

Remparo - единственный в России веб-фильтр с глубоким лингвистическим онлайн-анализом страниц. Его основной метод работы - фильтрация по содержимому, а вспомогательный - по черным и белым спискам.

Созданный нами веб-фильтр обладает высокой производительностью, сравнимой с производительностью DPI-решений, легок в эксплуатации, анализирует документы на русском и английском языках, с возможностью подключать поддержку других языков. Remparo соответствует существующему законодательству и подзаконным актам Российской Федерации «О защите детей от информации, причиняющей вред их здоровью и развитию», включая 436-ФЗ, 114-ФЗ, 187-ФЗ, а также Методическим рекомендациям Министерства образования.

Лингвистические технологии в веб-фильтре Remparo

Лингвистический анализ включает морфологический, синтаксический и семантический анализ текста веб-страниц, что обеспечивает высокую точность определения ее тематики. Набор релевантных категорий для запрашиваемой страницы устанавливается с помощью технологии лингвистического анализа «Семантическое зеркало».

Преимущества лингвистического анализа

Применение лингвистических методов анализа страниц позволяет блокировать отдельные страницы, а не сайты целиком. Это позволяет эффективно применять веб-фильтр Remparo к ресурсам с часто изменяющимся контентом: социальные сети, форумы, новостные ресурсы и т.д., в которых другие методы фильтрации не работают. Кроме того, веб-фильтр быстро реагирует на изменение содержания страницы и появление новых сайтов с нежелательным содержанием.

Инструкция

Наиболее простым и популярным является использование сервиса анонимайзеров. Этот сервис предназначен для анонимного веб-серфинга. Основным плюсом является то, что при использовании этого способа адрес конечного сайта шифруется, что делает невозможным отслеживание активности пользователя. Использовать этот способ очень просто – достаточно перейти по адресу анонимайзера, к примеру, http://timp.ru/, после чего ввести адрес интересующего вас сайта и нажать на кнопку «Перейти». Вы также можете активировать такие функции, как отключение скриптов, временных файлов, а также баннеров, что существенно облегчает веб-серфинг.

Вы также можете использовать сервисы по сжатию трафика. Они не обладают такой функцией, как анонимизация веб-серфинга, однако позволят вам беспрепятственно заходить на веб-сайты, которые заблокированы фильтром. Существенным недостатком этого способа является то, что при его бесплатном использовании время ожидания загрузки страницы может занять продолжительное время – приоритет на таких сервисах отдается платным пользователям.

Наиболее универсальным вариантом является использование такого браузера, как Opera mini. Существенным отличием от других браузеров является то, вся информация, которая загружается через него, сначала проходит через прокси-сервер opera.com, где она сжимается, и только после этого отправляется на компьютер. При помощи этого браузера вы сможете осуществлять веб-серфинг, руководствуясь лишь одним ограничением – с его помощью вы не сможете просматривать видео в режиме онлайн. Однако для того чтобы просматривать веб-сайты, которые наполнены текстовой и графической информацией, он подходит идеально. Имейте ввиду, что изначально он был предназначен для мобильных телефонов, поэтому для работы с ним на компьютере вам потребуется java-эмулятор.

Большинство случаев, когда сайт вдруг выпадает из выдачи, оптимизаторы объясняют наличием специальных фильтров . Кстати, у каждой поисковой системы есть свои собственные. Довольно ярким примером тому является Google.

Инструкция

Первый из фильтров - это так называемая песочница Google. Она применяется к недавно созданным сайтам. Выбраться из нее достаточно трудно, однако, вполне возможно. Дело в том, что данная поисковая система использует целевой ранг. Его идея такова, что чем больше новый сайт будет иметь ссылок с уважаемых и проверенных сайтов , тем больше вам будет доверять и Google. Таким образом вы можете обойти этот фильтр.

Следующий фильтр, из которого вы, возможно, будете вытаскивать ваш ресурс - это фильтр повторяющегося содержания (Duplicate Content Filter). Он применяется лишь к сайтам, которые используют уже известный поисковику контент, индексируемый на других интернет-ресурсах. Как правило, от данного фильтра освобождаются только новости сайта. При обнаружении подобной ситуации срочно требуется изменение содержания. В том случае, если контент украден у вас, а не вами, сначала обратитесь непосредственно к самому плагиатору. Кроме того, свяжитесь с администрацией хостинга и с Google, оповестите их о происходящем.

Link Farming Filter будет накладываться в том случае, если Google увидит ваш сайт в какой-либо системе автоматических каталогов генерации ссылок. Из-за такого фильтра ресурс может не только потерять позиции, но и попасть в бан. Выход здесь лишь один: более внимательно относитесь к тому, где именно вы регистрируете ваш сайт. Дело в том, что существуют и другие каталоги, которые проходят ручную модерацию. А потому туда принимают только проверенные сайты. Застраховаться от риска быть заблокированным можно только одним способом: вообще не участвуйте в подобных линк-обменах.

Название фильтра чрезмерной оптимизации говорит само за себя. Google может посчитать, что сайт разработан не для людей, а для ботов, а потому можно сразу угодить в бан. Чтобы избежать попадания в данный фильтр, соблюдайте умеренность и не переусердствуйте с ключевыми тегами и словами.

Источники:

  • как обойти интернет фильтр

В последнее время пользователи персональных компьютеров стали часто использовать системы эмуляции для продления срока жизни редких и коллекционных дисков. Эти программы разрабатываются для создания виртуальных образов дисков. В некоторых случаях требуется деактивировать действие этих утилит из-за конфликта с другим программным обеспечением.

Вам понадобится

  • Компьютер с установленным эмулятором.

Инструкция

Система эмуляции помогает создавать точную копию диска. Примером таких программ могут служить специальные утилиты: Daemon Tools, Alcohol 120% и другие. Перед созданием образа стоит задуматься о легальности используемого вами материала. Созданную копию нельзя распространять, если только это не ваш диск. Загруженный из интернета материал после ознакомления должен быть удален.

Как правило, программы-эмуляторы запускаются еще при старте системы, поэтому исполняемые файлы этих приложений вы легко сможете найти в системной памяти. Основное расположение - панель трея либо свернутое окно утилиты. Можно выбрать один из двух вариантов: выгрузка программы из памяти либо деактивация образа диска из виртуального привода.

Выгрузка исполняемого файла из памяти - самый радикальный способ, порою даже слишком радикальный. Вам необходимо перенести фокус курсора мыши в трей, навести на нужную иконку и выбрать пункт «Закрыть» либо «Выйти» из контекстного меню. Контекстное меню вызывается нажатием правой кнопки мыши, на клавиатуре следует нажать клавишу нижнего ряда, которая располагается между Alt и Ctrl.

Если по каким-либо причинам данная программа и не хочет слушать ваших команд, попробуйте зарубить ее на корню. Для этого запустите «Диспетчер задач», нажав сочетание клавиш Ctrl + Alt +Delete (Ctrl + Shift + Esc) либо выбрав соответствующий пункт в контекстном меню панели задач. Найдите имя приложения, предварительно выбрав вкладку «Процессы» и произведя сортировку по имени пользователя. Выделите его, нажмите клавишу Delete (или в контекстном меню выберите «Завершите процесс») и в появившемся окне щелкните по кнопке «ОК».

Для деактивации образа диска достаточно открыть программу, перейти к виртуальному приводу и выбрать пункт «Размонтировать образ» («Извлечь диск»).

Видео по теме

Лента активности на «Одноклассниках - раздел профиля пользователя в котором отображаются все новости и изменения, происходящие в профилях друзей. Такая лента имеется у каждого из пользователей, поэтому вся ваша активные действия в социальной сети мгновенно становятся достоянием ваших друзей.

Все чаще интернет-трафик фильтруется, и участвуют в этом все, от публичных сетей Wi-Fi и корпоративных ИТ-администраторов до интернет-провайдеров и государственных органов. Однако способы обойти фильтрацию и добраться до заблокированных сайтов по-прежнему существуют.

Правда, некоторые из них в условиях особо жесткой фильтрации не работают. Например «Великий китайский фаервол» теперь не пропускает исходящие подключения к VPN, хотя еще до недавнего времени их никак не ограничивал.

DNS-серверы

Это самый ненадежный способ, но упомянуть о нем все-таки стоит. Некоторые интернет-провайдеры используют фильтрацию на уровне DNS-серверов, которые автоматически перенаправляют запросы к заблокированным сайтам на другие адреса. В некоторых организациях для фильтрации трафика применяется и другие подобные решения.

Если фильтрация реализована на уровне DNS и запросы к другим DNS-серверам не блокируются, можно просто задать в настройках сетевого соединения другой сервер, не контролируемый ИТ-администратором или интернет-провайдером. Можно, например, использовать Google Public DNS – там-то уж точно ничего не фильтруют.

Tor

Позволяет анонимно перемещаться по Интернету за счет того, что пропускает все запросы через зашифрованную сеть и использует в качестве выходной точки нефильтруемые неконтролируемые серверы. Открывать с помощью Tor незашифрованные страницы с конфиденциальной информацией не стоит, зато заблокированные сайты смотреть можно в любой сети.

Разработчики Tor ведут долгую, непрекращающуюся борьбу с режимами, добивающимися блокировки сервиса – например, в Иране. Tor может оказаться выходом даже там, где не работают обычные VPN, прокси и SSH-туннели.

Однако у Tor есть большой недостаток – он работает в разы медленнее обычного веб-браузера. Для доступа к заблокированным сайтам такое решение годится, но для повседневного веб-серфинга подходит разве что иранским и китайским диссидентам.

VPN

Можно подключиться к и пропускать через нее весь трафик с локального компьютера. Скажем, при подключении к VPN в Исландии весь сетевой трафик будет сначала направляться в Исландию, и только оттуда – к запрошенным сайтам. В обратном направлении трафик тоже будет проходить через Исландию, прежде чем попасть на конечный компьютер. Соединение полностью шифруется, поэтому провайдер, сетевой оператор или даже надзирающие государственные органы видят только, что идет обмен данными по зашифрованному соединению с VPN. Чтобы заблокировать такой трафик, придется заблокировать подключение к VPN.

VPN широко используются не только для обхода фильтрации, но и для подключения к рабочим сетям, поэтому такие соединения обычно не блокируют. Хотя в Китае с недавних пор их начали перекрывать.

Существуют бесплатные VPN-сервисы, но надежное скоростное соединение все-таки стоит денег, будь то плата VPN-провайдеру или покупка хостинга для организации собственной VPN-сети.

Прокси

К заблокированным сайтам можно пробиться и через обычные прокси-серверы, действующие на уровне веб-браузера или всей операционной системы. Функционируют они примерно так же, как VPN, но гораздо менее надежны – в частности, далеко не все программы их поддерживают. Если вы готовы платить, лучше потратиться на VPN.

Но если требуется быстро получить доступ к заблокированному сайту, можно попытаться сделать это через веб-прокси. Существует множество подобных сервисов, включая широко известный . Для просмотра достаточно ввести адрес нужного ресурса на сайте веб-прокси.

Правда, работает такой прием не всегда – иногда сами прокси-серверы могут оказаться заблокированы. К тому же они добавляют на все страницы рекламу – надо же им как-то выживать, если учесть, что сами по себе такие сервисы бесплатны. Но в любом случае, если требуется быстро посмотреть заблокированный сайт, не тратя время на установку и настройку более продвинутых решений, можно попробовать прокси.

SSH-туннелирование

SSH-туннели похожи на VPN в том отношении, что тоже пропускают весь трафик через зашифрованный канал. Если вы готовы за это платить, VPN предпочтительнее. Но у многих гиков уже и так есть удаленный SSH-сервер, который можно использовать для этих целей.

При наличии такого сервера можно наладить SSH-туннелирование, чтобы весь трафик с локального компьютера перенаправлялся через этот сервер по защищенному соединению. Таким образом можно зашифровать трафик, чтобы предотвратить перехват данных в публичных сетях Wi-Fi, да к тому же обойти фильтрацию в локальной сети. Эффект получается такой же, как если бы вы сидели за SSH-сервером и открывали сайты прямо на нем, хотя скорость передачи данных получается несколько ниже.

В Windows можно создать SSH-туннель с помощью