Сайт о телевидении

Сайт о телевидении

» » Как найти ошибки сканирования и удалить их из google webmaster. Зачем нужно использовать https и что имеется ввиду под безопасностью? Проверка битых ссылок

Как найти ошибки сканирования и удалить их из google webmaster. Зачем нужно использовать https и что имеется ввиду под безопасностью? Проверка битых ссылок

  • From:
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Topic: Меры принятые вручную

Что делать, если на почту пришло письмо:
Маскировка и/или скрытая переадресация

Мы обнаружили, что страницы на Вашем сайте, которые видят посетители, отличаются от тех, которые предоставляются роботу Google. Например, пользователи определенных браузеров, устройств или с IP-адресами в заданном диапазоне могут перенаправляться на другие страницы. Поскольку маскировка и скрытая переадресация являются нарушением рекомендаций Google для веб-мастеров, мы вручную приняли меры в отношении (вашего сайта) для защиты от спама. К Вашему сайту или его разделам также могут быть применены и другие меры.

С помощью функции Просмотреть как Googlebot в Инструментах для веб-мастеров проверьте, предоставляется ли роботу Google тот же контент, что и пользователям.
Измените или удалите страницы, на которых используется маскировка или с которых осуществляется скрытая переадресация пользователей определенных браузеров, устройств или с IP-адресами в заданном диапазоне.

Ознакомьтесь со списком мер, действующих в отношении Вашего сайта, на странице Меры, принятые вручную. Если список пуст, запрос на повторную проверку отправлять не нужно.

Когда сайт будет приведен в соответствие с рекомендациями Google для веб-мастеров, отправьте запрос на его повторную проверку. Если Ваш сайт будет соответствовать нашим рекомендациям, принятые вручную меры будут отменены.

Если Ваш сайт будет соответствовать нашим рекомендациям, принятые вручную меры будут отменены.
Вопросы о способах устранения этой проблемы можно задать на справочном форуме для веб-мастеров.

2 Reply by PunBB

  • From: Moscow, Sovkhoznay 3, apt. 98
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Re: Меры принятые вручную

Под маскировкой подразумевается предоставление неодинакового контента или разных URL пользователям и поисковым системам. Использование маскировки является нарушением рекомендаций Google для веб-мастеров, поскольку пользователям предоставляются не те результаты, которые ожидались.

Ниже приведены некоторые примеры маскировки.

Предоставление поисковым системам страницы с HTML-текстом, а пользователям – страницы с картинками или Flash
Добавление на страницу текста или ключевых слов только в ответ на запрос этой страницы агентом пользователя, связанным с поисковой системой
Если на вашем сайте имеется содержание, при доступе к которому у поисковых систем могут возникнуть проблемы (JavaScript, изображения, Flash и т. п.), ознакомьтесь с нашими рекомендациями о том, как обеспечить возможность доступа поисковых систем к этому содержанию без использования маскировки.

Зачастую на сайты, подвергшиеся взлому, хакер добавляет содержание с помощью маскировки, чтобы веб-мастеру было сложнее обнаружить взлом

3 Reply by PunBB

  • From: Moscow, Sovkhoznay 3, apt. 98
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Re: Меры принятые вручную

Скрытая переадресация

Переадресацией называется перенаправление пользователя на другой URL вместо запрошенного. Часто этот метод используется обоснованно, к примеру, при переносе сайта на новый домен или объединении нескольких страниц в одну.

Однако в некоторых случаях переадресация применяется для обмана поисковой системы или для показа посетителям страниц отличных от тех, которые анализирует сканер. Это нарушение наших правил. В такой ситуации поисковый робот, скорее всего, не будет перенаправлен и проиндексирует содержание исходной страницы, в то время как пользователи увидят страницу переадресации. Как и при маскировке, такие действия являются мошенническими, поскольку людям и роботу Googlebot предоставляется разное содержание, и посетители могут быть перенаправлены не на ту страницу, на которую они хотели попасть.

Ниже приведены некоторые примеры скрытой переадресации:

Поисковый сканер анализирует одну страницу, а пользователям показывается совершенно другая.
Пользователи компьютеров видят обычную страницу, в то время как пользователи смартфонов перенаправляются хакерами на совершенно другой домен.
Веб-мастер может использовать JavaScript для переадресации посетителей, не желая обмануть их. Например, если вам нужно направить посетителя на внутреннюю страницу сайта после того, как он выполнит вход, применение JavaScript будет уместно. При проверке переадресации с помощью JavaScript или других методов на своем сайте на предмет соответствия требованиям нашего руководства подумайте, как могут быть истолкованы ваши цели. Не забывайте, что при переносе сайта на другой домен лучше всего задействовать переадресацию 301. Если же у вас нет доступа к серверу, на котором размещен сайт, можно использовать JavaScript.

4 Reply by PunBB

  • From: Moscow, Sovkhoznay 3, apt. 98
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Re: Меры принятые вручную

Запросы на повторную проверку

Что такое запрос на повторную проверку?

Эта процедура выполняется, если вы устранили все выявленные нарушения правил на своем сайте и хотите сообщить об этом в Google. Подробности вы найдете здесь.

Как отправить запрос на повторную проверку
Выполните следующие действия:

Войдите в свой аккаунт Search Console.
Проверьте все версии своего сайта.
В разделе "Меры, принятые вручную" прочитайте, какие действия предприняли специалисты Google в отношении вашего сайта.
Устраните все выявленные проблемы.
Перейдите в раздел "Проблемы безопасности" и узнайте, все ли в порядке с вашим сайтом.
Нажмите "Запросить проверку".

5 Reply by PunBB

  • From: Moscow, Sovkhoznay 3, apt. 98
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Re: Меры принятые вручную

Как происходит повторная проверка

Повторная проверка начинается с момента получения вами уведомления о мерах, принятых вручную, и завершается после того, как специалисты Google выяснят, удалось ли вам устранить все нарушения. Вот как выполняется эта процедура:

Вам придет оповещение о мерах, принятых вручную. Вы должны будете устранить все выявленные проблемы.
Оформите запрос на повторную проверку. О том, как это сделать, читайте ниже.
Устраните другие возможные проблемы. Подробнее читайте в разделе о типичных ошибках.

Отправьте нам запрос на повторную проверку из своего аккаунта Search Console.
Вам придет подтверждение от Google. Обратите внимание, что обработка запроса может занять несколько дней.
Google одобрит или отклонит ваш запрос.
Если проверка пройдет успешно, мы отменим меры, принятые вручную в отношении вашего сайта.

Если вы получите отказ, изучите раздел о типичных ошибках, прежде чем подавать очередной запрос на проверку.

6 Reply by PunBB

  • From: Moscow, Sovkhoznay 3, apt. 98
  • Registered: 2014.07.07
  • Posts: 3,648
  • I just like PunBB:
  • 5 years, 3 months, 5 days,
  • Likes: 425

Re: Меры принятые вручную

Как оформить запрос на повторную проверку

Запросы обрабатываются вручную специалистами Google. Чтобы нам было проще понять, какие меры вы приняли, расскажите о них как можно более подробно.

В нем точно описаны проблемы, выявленные на вашем сайте.
В нем подробно описываются действия, предпринятые для устранения проблем.
В нем приведены все результаты ваших действий.

Вы также можете предоставить нам материалы, в которых описываются ваши действия по устранению проблем на сайте. О том, как собрать и отправить такую информацию, читайте ниже.

Обратные ссылки. Составьте их список, удалите, а потом отклоните их. Мы также рекомендуем задокументировать процедуру удаления. Если вы отклоните обратные ссылки, но не станете их удалять, вам не удастся пройти повторную проверку.
Продажа ссылок на вашем сайте. Приведите примеры страниц, на которых вы удалили такие ссылки или заблокировали их с помощью атрибута . Убедитесь, что вы проделали это в отношении всех недопустимых ссылок, а не только указанных в нашем сообщении.

  • Likes: 425
  • Re: Меры принятые вручную

    Типичные ошибки при отправке запроса на повторную проверку

    Ниже перечислены наиболее распространенные ошибки, допускаемые веб-мастерами при отправке сайта на повторную проверку. Рекомендуем внимательно изучить этот раздел.

    1. Отклонение всех обратных ссылок

    Часто инструмент отклонения обратных ссылок используется неправильно. Необходимо помнить о следующем:

    Обратные ссылки рекомендуется по возможности удалять. Добавление всех обратных ссылок в файл отклонения не считается решением проблемы, и вам не удастся пройти проверку.
    Если в домене несколько таких ссылок, используйте строку вида domain:example.com.
    Убедитесь, что не заблокировали обычные ссылки.

    2. При удалении взломанного контента не использовалась функция "Просмотреть как Googlebot"

    Часто нежелательный контент добавляется на взломанные сайты с помощью маскировки. Это означает, что пользователи и поисковый робот видят на веб-странице разные материалы.

    Одним из способов выявления маскировки является функция Просмотреть как Googlebot в Search Console. Она позволяет узнать, как поисковый робот воспринимает ваш сайт. Часто нам приходится отклонять запросы на повторную проверку из-за того, что проблема не была устранена и при сканировании страницы обнаруживается внедренный контент. Узнайте больше о маскировке и скрытой переадресации.

    3. Отправка запроса на повторную проверку пустого сайта

    Мы рассмотрим запрос только в том случае, если на сайте есть полезная информация. Поэтому повторной проверке не подлежат:

    Пустые сайты , на которых много веб-страниц, но мало или вообще нет контента.
    Припаркованные домены – страницы-заполнители для доменов без контента.
    Сайты, недоступные в связи с ошибкой "Не найдено" (404) или сбоями сервера. Подробнее об ошибках сканирования...
    Перед повторной проверкой убедитесь, что ваш сайт соответствует требованиям Google. Если запрос отклонен, внимательно изучите наше сообщение и устраните все возможные проблемы, прежде чем обращаться к нам снова.

    Google собирается отказаться от классического адреса интернет-страниц в своем браузере. Компания планирует укрепить средства защиты пользователей в сети.

    Интернет-мошенничество становится настоящей чумой 21 столетия. Каждый день в виртуальном мире хакеры воруют и продают все, что угодно - от реквизитов банковских карт до интимных фотографий звезд Голливуда.

    Каждая интернет-компания пытается внедрять свои способы защиты пользователей, но все это пока недостаточно эффективно. Согласно McAfee, кибератаки в прошлом году принесли миру убытков на $600 млрд (примерно половина действующего бюджета США).

    Принять радикальные методы безопасности хотят создатели одного из самых популярных браузеров - корпорация Google.

    Вчера браузеру Сhrome исполнилось 10 лет и, помимо существенных изменений в , разработчики планируют cерьезно укрепить надежность адресной строки.

    Google намерен отказаться от использования традиционных интернет-адресов URL, поскольку они являются слишком сложными и непонятными для пользователей.

    Это часто играет на руку хакерам и мошенникам, которые создают фейковые страницы финансовых учреждений и прочие вредоносные сайты, распространяют ложную информацию или вирусное программное обеспечение.

    Поэтому, программисты компании работают над такой системой, которая поможет упростить пользование веб-страницами в Chrome для каждого пользователя.

    “Я еще не знаю как точно это будет выглядеть, потому что сейчас мы активно обсуждаем это в команде. Я знаю: что бы мы не предложили - это будет спорным”, - рассказала в интервью WIRED директор технологий в Chrome Париса Табриз. “Это один из самых главных вызовов в работе со старой, открытой и разваливающейся платформой. Изменения в любом случае будут спорными, независимо от того, что произойдет. Важно, что мы делаем это, поскольку все недовольны URL. Это вроде как отстойно”.

    По сути, Google должен разработать новую систему, все участники которой смогут легко проверять и понимать с чем они имеют дело, заходят ли они на подлинный веб-сайт и легко различать страницы или сообщения, которым точно нельзя доверять.

    Представители корпорации объясняют, что сейчас они сосредоточены на определении того, как люди используют URL-адреса, чтобы найти альтернативу с повышенными мерами безопасности и определением личности в интернете.

    Очевидно, что Google пока не имеет определенного решения того, как будут функционировать веб-страницы без URL-адресов.

    Но компания работает над этим еще с 2014 года. Несколько лет назад они экспериментировали с так называемой “функцией подлинности”. Браузер показывал только основное имя домена сайта, чтобы гарантировать подлинность подключения именно к этому домену. Чтобы увидеть полный URL-адрес нужно было нажать на кнопку, которая отвечала за эту функцию.

    Позже, Google перешел на другую систему веб-шифрования HTTPS, которая работает в Сhrome и по сей день.

    Напомним, URL - это единый указатель интернет-ресурса, который был изобретен как универсальный определитель нахождения в сети одним из создателей Всемирной паутины Тимом Бернерсом-Ли в 1990 году.

    Проверяет html код, как заданный с помощью ссылки на страницу, так и просто в виде загруженного файла или скопированного текста. Дает список замечаний с рекомендациями по их исправлению.
    http://validator.w3.org/

    Проверка css (css валидатор)

    Проверяет стили документа или таблицу стилей, расположенную в отдельном файле.
    http://jigsaw.w3.org/css-validator/

    Проверка лент (feed) RSS и Atom

    Проверяет правильность работы фидов RSS и Atom.
    http://validator.w3.org/feed/

    Проверка орфографии на веб странице

    Подсвечивает ошибки на заданной URL странице.
    http://webmaster.yandex.ru/spellcheck.xml

    Показывает ошибки в тексте, скопированном в проверочное окно.
    http://api.yandex.ru/speller/

    Проверка структуры веб страницы

    Показывает структуру веб страницы. Актуален для проверки html5 документов. Неправильно отображает кириллицу (:.
    http://gsnedders.html5.org/outliner/

    Проверка контента на уникальность

    В бесплатной версии показывает до 10 страниц в инете с частичным совпадением текста с вашей страницей.
    http://www.copyscape.com

    Проверяет уникальность текста введенного в форму. В бесплатной версии возможно ожидание результатов.
    http://www.miratools.ru/Promo.aspx

    Проверяет уникальность как введенного текста, так и текста по заданному URL, показывает уровень уникальности в процентах. Имеет собственный алгоритм проверки.
    http://content-watch.ru

    Десктопные программы для проверки уникальности контента от бирж копирайтеров. Работают долго, но качественно. Etxt имеет версии для трех операционных систем: Mac, Linux и Windows.
    http://advego.ru/plagiatus/
    http://www.etxt.ru/antiplagiat/

    Показывает сайты с похожим содержанием и схожей внутренней структурой.
    http://similarsites.com

    Проверка cms сайта

    Проверяет наличие признаков наиболее известных cms.
    http://2ip.ru/cms/

    Проверка юзабилити сайта для различных групп пользователей

    Проверка доступности с мобильных устройств

    Оценивает возможность просмотра страницы с мобильных устройств и выдает список замечаний и ошибок.
    http://validator.w3.org/mobile/

    Проверка удобства сайта для телефонов от Гугл.
    https://www.google.com/webmasters/tools/mobile-friendly/

    Показывает скорость загрузки сайта на мобильных устройствах.
    https://testmysite.withgoogle.com/intl/ru-ru

    Сайт эмулятор выхода с мобильного телефона. Показывает сайт глазами выбранной модели.
    http://www.mobilephoneemulator.com/

    Проверка доступности для людей с ограниченными возможностями

    Сервис проверки страницы для слабовидящих. Доступен on-linе и в виде плагина для Firefox.
    http://wave.webaim.org/

    Просмотр содержания сайта глазами поискового робота

    Показывает текст сайта, приближенный к тому, что видит поисковый индексатор.
    http://www.seo-browser.com/

    Дистрибутив текстового браузер lynx для win32 систем. Перед использованием нужно отредактировать lynx.bat, указав в нем путь к директории с lynx.
    http://www.fdisk.com/doslynx/lynxport.htm

    Убирает все разметку и показывает текст страницы, мета теги и теги заголовков, число внешних и внутренних ссылок. Показывает превью страницы в google.
    http://www.browseo.net

    Проверка ссылочной структуры сайта

    Проверка битых ссылок

    Показывает список исходящих ссылок для URL и проверяет их отклик. Может проверять рекурсирвно, то есть переходить от одного документа к другому самостоятельно.
    http://validator.w3.org/checklink

    Freeware инструмент для проверки битых ссылок. Для работы нужно установить его на свой компьютер. Рекурсивно сканирует сайт, делает отчеты, может быть полезен для составления карты сайта.
    http://home.snafu.de/tilman/xenulink.html

    Проверка перелинковки и заголовков страниц

    Сканирует до 500 страниц сайта в бесплатной версии. Проверяет число внешних и внутренних ссылок. Выводит информацию о просканированных страницах: вложенность, коды ответа, названия, мета информацию и заголовки.
    http://www.screamingfrog.co.uk/seo-spider/

    Проверка ссылочной структуры и веса внутренних страниц

    Программа сканирует сайт, строит матрицу внутренних ссылок, добавляет внешние (входящие) ссылки с заданных URL и, на основании этих данных, рассчитывает внутренние веса страниц сайта. Программа может быть использована для нахождения внешних (исходящих) ссылок для списка URL страниц сайта.

    Проверка кодов ответа сервера, видимости сайта поисковыми роботами, технических характеристик сайта

    Проверка HTTP заголовков и ответа сервера, видимости страниц для роботов

    Проверяет коды ответа сервера, прогнозирует скорость загрузки страницы в зависимости от объема в байтах ее данных, показывает содержимое html тега head, внутренние и внешние ссылки для страницы, содержимое страницы глазами поискового робота.
    http://urivalet.com/

    Проверяет коды ответа сервера. Дает возможность проверить редиректы (коды ответа 301, 302), заголовок Last-Modified и др.
    http://www.rexswain.com/httpview.html

    Показывает объемы и содержимое данных, передаваемых при загрузки страницы.
    http://www.websiteoptimization.com/services/analyze/

    Проверяет редиректы, использование атрибута canonical, мета теги, некоторые аспекты безопасности сайта. Дает рекомендации по улучшению загрузки страниц.
    http://www.seositecheckup.com

    Проверка информации о домене и об IP адресе

    WHOIS-сервис центра регистрации доменов RU center. Дает информацию по IP адресам и доменам по всему миру. Иногда зависает.
    https://www.nic.ru/whois/?wi=1

    Служба Whois от РосНИИРОС (RIPN). Дает информацию для доменов в зоне RU и IP адресам из базы RIPE (Европа).
    http://www.ripn.net:8080/nic/whois/

    Определяет, где у домена хостинг и также показывает IP адрес сайта.
    http://www.whoishostingthis.com

    Проверка не включен ли IP адрес в черный список для рассылки email.
    http://whatismyipaddress.com/blacklist-check
    http://ru.smart-ip.net/spam-check/

    Проверка MX записей для домена. Проверка SMTP сервера для домена. Проверка IP в черных списках для рассылки.
    https://mxtoolbox.com/

    Поиск по базе зарегистрированных торговых марок в США.
    http://tmsearch.uspto.gov/

    Проверка файлов robots.txt

    Проверяет доступность для индексации страниц сайта роботом Yandex.
    http://webmaster.yandex.ru/robots.xml

    Проверяет корректность файла robots.txt.
    https://www.websiteplanet.com/webtools/robots-txt

    Техосмотр сайта

    Мониторинг доступности сайта. Дает возможость подключить один сайт бесплатно с минимальными опциями проверки.
    http://www.siteuptime.com

    Проверка скорости загрузки сайта. Посылает отчет на email. Имеет платные сервисы мониторинга доступности сайта.
    http://webo.in

    Проверка скорости загрузки страниц сайта.
    http://www.iwebtool.com/speed_test

    Проверка индексации и отображения сайта поисковиками

    Видимость сайта в поисковиках

    Сервис, показывающий ключевые слова для сайта, по которым он находится в ТОП 20 (первой двадцатке) выдачи Google во времени. Данные о поисковом и рекламном трафике.
    http://www.semrush.com/

    Положение в ТОП50 yandex и Google. Тиц сайта и PR главной страницы, наличие в важных каталогах, видимость в топе по ВЧ запросам.
    http://pr-cy.ru/

    Проверка банов и уровня доверия к сайту

    Проверка трастовости сайта. Сервис, утверждающий, что он измеряет траст для Яндекса (проверить все равно никто не может:).
    http://xtool.ru/

    Проверка наложения фильтров Панда и Пингвин от Гугл. Сервис позволяет визуально определить падал ли сайт в даты апдейтов Панда и Пингвин.
    http://feinternational.com/website-penalty-indicator/

    Проверка Page Rank страниц сайта (при копировании URL в инструмент нужно стереть последнюю букву а потом написать заново).
    http://www.prchecker.net/

    Проверка истории развития сайта

    Показывает историю развития сайта и дает возможность посмотреть скриншоты старых страниц.
    http://www.archive.org/web/web.php

    История позиций сайта в ТОП Google (ключевые фразы, страницы, заголовки), показателей PR, ТИЦ, Alexa Rank, числа обратных ссылок для популярных сайтов.
    http://SavedHistory.com

    SEO плагины для проверки сайтов

    SEO Doctor - дополнение к Firefox. Показывает ссылки на странице и дает удобный интерфейс к различным SEO сервисам.
    http://www.prelovac.com/vladimir/browser-addons/seo-doctor/

    SeoQuake - дополнение к Firefox. Показывает важнейшие характериситки сайта: ТИЦ, PR, обратные ссылки, Alexa Rank. Работает как с выдачей Google, так и с выдачей Yandex. Дает возможность быстрого анализа конкурентов.
    http://www.seoquake.com/

    IEContextHTML - дополнение к Internet Explorer. Проверяет индексацию ссылок в Yandex и Google, показывает список внешних и внутренних ссылок, позволяет импортировать данные c веб страниц.

    Видимость сайта в посковиках в зависимосит от места расположения

    Обновляемый список бесплатных прокси серверов, в том числе и Российских.
    http://www.checker.freeproxy.ru/checker/last_checked_proxies.php
    http://spys.ru/proxys/ru/

    Анонимный бесплатный прокси с возможностью представиться из трех стран. Работает с поиском Google.
    https://hide.me/en/proxy

    Эммуляторы поиска Google в разных странах, путем задания параметров поиска.
    http://searchlatte.com/
    http://isearchfrom.com/

    Проверка позиций в Yandex и Google

    Сервис дает возможность глубокой проверки (до 500) позиции сайта по регионам в Yandex.

    Сетевой анализ сайта, проверка обратных ссылок

    Анализ обратных ссылок

    Осуществляет анализ ссылочной массы сайта, формирует срезы по различным критериям: тип ссылки, анкоры, страницы. Показывает вес обратных ссылок. Сервис доступен только для зарегистрированных пользователей.
    http://ahrefs.com

    Проверка наличая обратных ссылок на сайт

    Проверяет наличие бэклинков на сайт в предложенном списке URL (до 100 страниц).
    http://webmasters.ru/tools/tracker

    Проверка популярности сайта в социальных медиа

    PlusOneChecker

    Показывает число лайков (plusone) в Google+. Можно вводить сразу список проверяемых URl.
    http://www.plusonechecker.net/

    Facebook Graph API Explorer

    SharedCount

    Показывает популярность в Твиттере, Google+, Facebook, LinkedIn, Pinterest, Delicious, StumbleUpon, Diggs.
    http://sharedcount.com

    Cool Social

    Показывает популярность первой страницы сайта в Твиттере, Google+, Facebook, Delicious, StumbleUpon. Для российских сайтов данные иногда неверные.
    http://www.coolsocial.net

    Social-Popularity

    Social Crawlytics

    Сканирует сайт и формирует отчеты "Shares" основных зарубежных социальных сетей для этих страниц. Регистрирует пользователей через акаунт в твиттере. Отчеты можно видеть уже на следующий день.
    https://socialcrawlytics.com

    Проверка сайта на вирусы

    Dr.Web

    Проверяет заданный URL на подозрительный код, показывает подгружаемые скрипты и результаты их проверки.
    http://vms.drweb.com/online/

    Virus Total

    Проверяет URL на вирусы 30 сканерами.
    https://www.virustotal.com/#url

    Alarmer

    Система защиты сайта от вирусов. Ежедневно сканирует файлы сайта и присылает отчет об их изменениях по email.

    

    Данная ошибка выводится в отчете после проверки определенных страниц сайта на доступность в поисковой системе Яндекс. Делается это через специальный сервис Яндекс.Вебмастер (инструмент «Индексирование» -> «Проверка URL»).

    Что за ошибка?

    Это означает, что робот посетил её, но не удосужился внести её в поисковую выдачу, сочтя её некачественной и вообще — вы спамер, у вас много рекламы, исправляйте всё немедленно, а потом поговорим! Самое удивительно то, что «некачественным» он иногда считает материал по 5000-10 000 знаков копирайта и отличным положением у конкурента в поиске (у меня не проиндексированная страница в Я была в ТОП-3 в G )

    Симптомы:

    1. Количество загруженных страниц сайта на порядок больше, чем количество страниц в поиске
    2. Некоторые страницы упорно не хотят индексироваться, даже после размещения ссылки на дружественных тематических ресурсах или в социальных сетях
    3. Контент на не индексируемых страницах уникальный и качественный
    4. Сайт не показывает баннерную рекламу, либо её количество минимально
    5. Сайт не находится под фильтрами поисковой системы.

    Устраняем ошибки, которые указаны в разделе «Диагностика»

    Чтобы повысить качество сайта и страниц в глазах Яндекса, нужно, как это ни странно, воспользоваться советами его самого. Дело в том, что в Я.Вебмастере в разделе «Диагностика» есть список текущих ошибок, которые вполне могут повлиять на выдачу

    Что конкретно нужно исправить и как это сделать?

    Воспользоваться инструментом «Переобход страниц»

    В Яндекс. Вебмастере есть специальный сервис, заставляющий робот заново посетить вашу страницу «Инструменты» «Переобход страниц» . Заставьте робота еще раз посетить вашу страницу. Идеальный вариант — немного добавить контента или хотя бы поменять где-то текст. В общем, видоизмените страницу, на которую будете ссылаться.

    Удалить дубли, запретить их к индексации

    Практически самый главный враг хорошей индексации отдельных страниц, которые не попадают в выдачу — это дубли. Дубли страниц, которые генерирует сама CMS, будь-то WP или DLE. Причем дубли могут быть совсем не явные, т.е. как таковых «вторых» страниц с таким же контентом нет, но есть страницы, у которых срабатывает редирект на основной материал. Их можно отследить в Я.Вебмастере. Для этого зайдите в меню «Индексирование» -> «Статистика». Далее выберитерядом с названием сайта категорию «HTTP-коды 3хх»

    Как видите страниц с редиректом пруд пруди:

    Самое интересно то, что еще одним стандартным сервисом «Яндекса» дубли не удалить сходу: Пишет ошибку «Нет основание для удаления». Т.е. яндекс не может просто убрать страницу с поиска, если даже вы этого хотите. Ему нужны основания

    Для того, чтобы перестали генерироваться дубли и для того, чтобы их можно было удалить с поисковой выдаче нужно проделать следующие шаги

    • Прописать строчку кода в файле functions.php (если у вас Word Press)

    Обычно этот файл находится в директории с названием вашей темы. Для редактирования можете использовать FTP ну или встроенный редактор в админке WP — это на ваше усмотрение. Вставляем следующий код

    remove_action(‘wp_head’, ‘wp_shortlink_wp_head’);

    • Настроить файл robot.txt

    Чтобы запретить индексацию дублей нужно создать соответствующее правило в файле robot.txt

    Disallow: /?p=*

    Т.е. страницы вида «site.ru/?p » запрещены к индексации. Кстати, на Word Press проще всего добавить это правило также через код в том же файле functions.php. Результат удаления URL через Я.Вебмастер теперь положительный:

    Создать карту сайта (Sitemap)

    Карта сайта создана специально для упрощения навигации не только пользователей, но и поисковых роботов. Поэтому, если вы считаете, что вашем посетителям она ни к чему, то сделайте её хотя бы для поисковой системы. Давно доказано — файл Sitemap улучшает индексацию страниц и сайта в целом! Для того, чтобы создать файл Sitemap.xml в CMS Word Press используйте плагин «Google XML Sitemaps».

    Чтобы показать Яндексу, что файл у вас создан и может использоваться роботом в Я.Вебмастере зайдите в «Настройка индексирования» — «Файлы Sitemap» и вставьте ссылку на неё (учтите, что статус «Очередь на обработку будет висеть достаточно продолжительное время»)

    Заполнить мета тэг name description

    Для каждой странице нужно заполнить её краткое описание, которое содержится в специальном мета тэге . Поисковые алгоритмы будут использовать данный тэг для формирования описания страницы при выдаче результатов поиска (т.н. сниппет)

    Чтобы не заморачиваться с правкой кода, мы можем использовать плагин для Word Press — Meta Tag Manager , который добавляет в конце редактора специальный контейнер, где можно его вписать

    Пишем в техническую поддержку Яндекса

    Если уверены в качестве своего сайта и конкретно тех страниц, которые не попадают в поиск. У Яндекса довольно большой мануал и огромные список того, «чего не желательно» или вовсе «нельзя». Советуем ознакомиться, перед тем, как строчить кляузу — https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml

    Что можно и где нужно писать, чтобы мне ответили?

    Итак, вы уверены, что ваш сайт белый и пушистый, поэтому вам срочно нужно написать в Яндекс. Если это действительно так, то:

    1. Перейти на страницу https://yandex.ru/support/webmaster-troubleshooting/site-indexing.xml
    2. Далее в опросе выбираете — «Мой сайт плохо индексируется».
    3. Затем — «Некоторые страницы сайта отсутствуют в поиске»
    4. В самом конце нужно поставить галочку в чекбокс пункта «Страницы отсутствуют в поиске по непонятным причинам»

    После чего откроется форма для обратной связи с техподдержкой:

    В сообщении можете написать примерно следующий текст (не копируйте его полностью, просто используйте как шаблон )

    P.S. Ответ от Яндекса — это просто ошибка инструмента «Проверка URL»

    Техническая поддержка Яндекса ответила мне на удивление быстро. Оказалось, мои страницы-таки были в поиске — во всём виноват кривой инструмент «Проверить URL». Я.Вебмастер совсем недавно выкатил новую версию этого сервиса — видимо, пока что, не всё работает, как задумано.

    Т.е. возможно страницы есть, а может и нет? Чтобы точно убедится в том или ином предположении, нужно проверить наличие в индексе на других сервисах для веб-мастеров.

    Вредоносный код может быть добавлен на сайт умышленно или случайно:

    • злоумышленником, который получил доступ к серверам или системе управления сайтом;
    • владельцем сайта (например, код баннерной системы, счетчика веб-аналитики) - сторонние ресурсы могут быть взломаны;
    • пользователем сайта, если есть возможность оставлять сообщения или загружать файлы.

    Какие именно страницы сайта заражены?

    Перечень страниц, на которых обнаружен вредоносный код, можно найти в Яндекс.Вебмастере, в разделе Безопасность и нарушения .

    Список может быть неполным, так как страницы проверяются выборочно. Также следует помнить, что зараженным может оказаться код, включенный во все страницы - например, заголовок или подвал сайта.

    Как часто происходят проверки?

    Период проверок варьируется, поэтому данные о заражении могут обновляться с задержкой.

    Сайт, на котором Яндекс нашел вредоносное содержимое, обязательно будет перепроверен. Если в ходе следующей проверки окажется, что сайт все еще заражен, интервалы между перепроверками начнут увеличиваться. Чем раньше сайт будет обеззаражен, тем быстрее Яндекс узнает об этом и снимет пометку об опасности для пользователей.

    Как найти вредоносный клиентский код на своём сайте?

    Я все исправил, как убрать пометку об опасности сайта?

    Пометка об опасности сайта в результатах поиска будет снята, если при очередной проверке робот Яндекса не обнаружит заражения. Чтобы ускорить перепроверку, в интерфейсе Яндекс.Вебмастера, в разделе Безопасность и нарушения , нажмите кнопку Я все исправил .

    Зачем регистрироваться в Яндекс.Вебмастере?

    Яндекс.Вебмастер перечисляет страницы, на которых Яндекс обнаружил вредоносный код, сообщает вердикт антивируса для каждой страницы и показывает цепочки заражения . Также сервис позволяет вам запросить перепроверку заражения, чтобы как можно скорее снять пометку об опасности сайта в результатах поиска.

    Чтобы данные о сайте были доступны только владельцу и его доверенным лицам, необходимо зарегистрироваться и подтвердить права на управление сайтом .

    Как защитить сайт от новых заражений?

    Почему сайт в результатах поиска помечен как зараженный, но в Вебмастере списка зараженных страниц нет?

    Страницы разных доменов проходят проверку на вредоносный код независимо друг от друга. Если разные домены одного сайта (например, www.example.com и example.com ), не склеены Яндексом как зеркала , в Яндекс.Вебмастере информация может быть неполная. Домен, зарегистрированный в Яндекс.Вебмастере, может не помечаться как опасный, в то время как страницы на незарегистрированном домене будут зараженными.

    Зарегистрируйте второй домен на сервисе. После этого вы сможете видеть информацию о заражении для обоих доменов, и запрашивать перепроверки безопасности для каждого из них.

    Почему приходит много противоречивых сообщений о заражении сайта?

    Обычно такие сообщения говорят о попытке вредоносного кода скрыть свою активность от сканирующей системы: код может проявляться с определенной периодичностью либо при соблюдении определенных условий. Например, только при переходе на сайт из поисковых систем или только для определенных браузеров.

    Проверьте на заражение все файлы сайта.