Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
— Закончился срок хранения закаченного файла на файлообменник
— Изменение структуры блога/сайта
— Изменение адресов страниц на сайте или внедрение ЧПУ
— Изменились адреса страниц сайтов, на которые вы ссылаетесь
В процессе таких изменений могут возникать десятки несуществующих страниц, на которые будет ссылаться ваш ресурс.
Находить вот такие несуществующие страницы легко. Достаточно знать несколько сервисов и уметь ими пользоваться.
Мы рассмотрим 4-е основные методы проверки сайта на битые ссылки, а какой из них использовать для себя вы уже решите сами.
Я нашел в сети много разных сервисов, но рекомендовать могу всего 2, которые действительно качественно определяют проблемные ссылки:
— creatingonline.com
— anybrowser.com
Расписывать принцип их работы, я не буду, тут все очень просто. Вбиваете интересующий вас урл в форму для проверки и жмете кнопку для проверки. После истечения некоторого периода времени, появится страница с результатами проверки.
С помощью Яндекса
В панели вебмастера идем по пути – — Исключенные страницы и переходим по ссылке HTTP-статус: Ресурс не найден (404). На скриншоте указан путь.
После того как вы перешли по ссылке, откроется окно, внизу которого и будет список ссылок на несуществующие страницы с вашего сайта. В этом же окне будет информация о последнем посещении роботом страницы и ссылки на проблемные страницы обозначенные маленьким квадратом со стрелкой вниз. Теперь нужно перейти по этим ссылкам и исправить ситуацию.
С помощью Google
Аналогичным образом проходим авторизацию в панели вебмастера и идем по пути – Сканирование — Ошибки сканирования. В нижней половине страницы видим список ссылок на несуществующие страницы. В панели вебмастеров Google есть одна замечательная опция позволяющая отмечать исправленные ранее вами ссылки на несуществующие страницы. На я показал ее.
Переходим по ссылке и скачиваем программу. После чего проводим ее установку. По окончанию установки запускаем программу и забиваем адрес проверяемого ресурса. Жмем кнопку Ок, и программа начинает сбор информации.
Busy – поставлена в очередь на проверку.
После окончания сбора информации программой будет звуковой сигнал об окончании работы, и вы можете просмотреть отчет о выполненной работе. Очень хорошая программа, пользуюсь ею постоянно.
И последний метод, который мы рассмотрим, это проверка сайта на битые ссылки с помощью плагина Broken Link Checker .
Для этого скачиваем плагин , активируем его и переходим по адресу – Параметры — Проверка ссылок и переходим на вкладку Дополнительно в которой жмем Перепроверить все страницы.
Недавно ко мне обратились с вопросом об одной особенности Google. Речь шла об индексации сайта. Google занес в свой индекс несуществующие страницы с причудливыми URL. Причем, многие из них были закрыты в robots.txt. Отвечая на вопрос, с целью помочь читателю моего сайта, я не заметил, как написал небольшую статейку.
Вопрос оказался очень мне знаком. Еще пару лет назад я сам ужесточено искал ответ на этот вопрос, когда у меня была задача выровнять соотношение проиндексированных страниц для нескольких сайтов в индексе поисковиков перед их монетизацией. Что я только не делал, удалял из индекса физически, закрывал в robots.txt, правил шаблоны сайтов и исходные файлы движков. Ровным счетом ничего не помогало, не помогли мне в свое время и более опытные коллеги.
Такая проблема оказалась повсеместна, но далеко не многие уделяют ей внимание. Google не делает сохраненных копий закрытых в robots.txt страниц, но добавляет все найденные URL себе в базу. Если сделать поиск среди всех страниц сайта, то Google выдаст кучу несуществующих страниц. Код 404 и закрытие в robots.txt при этом не помогают. Вот поэтому, если просканировать с десяток различных сайтов, то количество проиндексированных страниц в Google будет больше, иногда на пару страниц, а для крупных сайтов разница может достигать нескольких сотен страничек.
В свой индекс Google добавляет абсолютно все URL, на которые обнаружил ссылки. Это в большинстве случаев внутренние ссылки (из-за ошибок развертки CMS на сервере в коде могут присутствовать битые ссылки, это очень часто происходит при неправильной настройке ЧПУ), также это могут быть и внешние ссылки (кто-то написал ссылку на ваш сайт на каком-нибудь форуме и ошибся в написании).
Кроме того, на сайтах очень часто удаляются некоторые странички - изменили URL или физически удалили материал, в индексе страница по-прежнему останется, только сохранится в виде пустой ссылки.
В любом случае, ни по каким запросам эти «странички пустышки» в выдаче не появятся, если только мы не смотрим общее число проиндексированных страниц. Разница между реальным числом страниц на сайте и проиндексированным играет роль только при монетизации сайта. За большой разбег места под продажные ссылки будут хуже раскупаться.
Способы избежать подобных ситуаций имеются, рассмотрим пути решения:
Такой оригинальный подход к индексации разработчики Google объясняют тем, что часто страницы, выдающие 404 код ошибки, не доступны лишь кратковременно по вине неправильных настроек сервера или каких-либо сбоев БД. При этом, очень часто среди таких страниц есть полезный контент. Google добавляет такие страницы в индекс в надежде, что они со временем заработают. А вот почему Google игнорирует инструкции robots.txt - объяснений тому объективных нет, но на практике, часто именно так и происходит.
Здравствуйте, друзья! В отличие от других социальных сетей, на Одноклассниках, при выполнении различных действий, можно получать соответствующие достижения. Сложного в выполнении заданий ничего нет – нужно загрузить фото, добавить видео, поставить оценки, прокомментировать записи и прочее.
Но некоторых пользователей сбивает с толку достижение с названием «Редкая находка» – нужно перейти на несуществующую страницу в Одноклассниках. Поэтому давайте разберемся, как это сделать.
Для начала поговорим о том, что такое «Достижения». Найти данный пункт меню можно, находясь на своей страничке и кликнув по кнопочке «Еще».
На вкладке «Мои достижения» будут показаны различные значки. Если значок серого цвета, это значит, что Вы еще не выполнили необходимое условие. При наведении курсора мышки на любой значок, во всплывающем окне будет показано задание для выполнения.
После выполнения задания, значок стает цветным и Вам начисляется определенное количество бонусов.
Значок «Редкая находка» находится в разделе «Миссии», и чтобы его получить, нужно перейти на страницу, которой не существует. За выполнение данного задания Вам будет начислено 500 очков.
Зачем выполнять подобные задания и получать значки? – спросите Вы. Все довольно просто. Количество накопленных очков можно посмотреть вверху справа. Там же находится кнопочка «Аукционы». Кликнув по ней, Вы перейдете на страничку с аукционами, где сможете обменять полученные очки на платные функции: подарки, невидимка, оценка 5+.
Теперь давайте разберемся, как можно найти несуществующую страничку, чтобы получить значок и очки.
Для этого нужно перейти по адресу, которого в Одноклассниках просто нет: в адресной строке после ok.ru наберите различные цифры, чтобы получилось что-то вроде – https://ok.ru/12345678912345.
Давайте рассмотрим конкретнее. Откройте свой профиль и обратите внимание на адресную строку браузера.
Поставьте курсор в поле для адреса, удалите слово feed и наберите цифры. Я же просто дописала букву s. Затем нажмите Enter.
