Эксперимент: Как быстрее всего удалить сайт из индекса Яндекса и Google

6 Августа 2018 <nobr>9 208</nobr>В статье ранее мы рассказывали об удалении данных в интернете. Вы можете найти ее в нашей ленте ниже. Настало время рассказать отдельно, как удалить информацию о себе из Яндекса.

Но прежде всего мы, Digital Sharks, хотим вспомнить случай, когда право на забвение оказалось не на стороне поисковой системы.

В 2017 году Яндекс первый раз в своей истории проиграл судебный процесс. Елена Скрынник, федеральная чиновница в прошлом, добилась реализации права на забвение. Дело в том, что тогда все еще шло расследование в отношении нее. Нет, она не натворила дел в 2017. Всё крутилось вокруг ее прошлого – с 2009 по 2012 Елена была министром сельского хозяйства.

А Яндекс просто делал то, для чего и предназначена поисковая система – отображал выдачу по запросу «Елена Скрынник». Это не нравилось Елене, ведь на тот момент она не была министром СХ. Более того, на тот момент она уже не жила в России. И как Яндекс ни старался, компания проиграла суд и была вынуждена убрать некоторые ссылки из выдачи.

Перейдем непосредственно к советам, как удалить информацию о себе из Яндекса.

Как удалить информацию о себе из Яндекса: методы

На данный момент способов 10:

1. Анкета.
2. Служба поддержки.
3. Переговоры.
4. Изменение содержания страницы.
5. Ошибка 404.
6. Robots.txt.
7. HTML-код.
8. HTML-код #2.
9. Шифрование.
10. Вытеснение.

Пройдемся по порядку, начиная с простого.

Анкета. Яндекс не отстает от других поисковых систем, поэтому тоже создал анкету. Правда, долгое время анкета была доступна по другой ссылке, зайдя на которую сейчас, вы увидите ошибку 404.

Кликните сюда, если хотите удалить информацию о себе из Яндекса.

Примечательно, что Яндекс не требует паспортные данные, как это было в анкете Мэйла.

Служба поддержки. По сути, это то же самое, что и вышеуказанный метод. Отличие лишь в наличии общения.

Переговоры. Прежде чем требовать от администрации сайта чего-то, просто поговорите с ними. Объясните, почему информацию нужно удалить. Если просто так не соглашаются, предложите что-то взамен. Это может быть скидка или акция, если вы продаете что-то. Это может быть какое-либо действие с вашей стороны. В конце концов, можете предложить деньги. Но зачастую на переговорах всё и заканчивается, причём в пользу того, кто хочет удалить информацию.

Прежде всего, отметим – мы понимаем, что вы давно бы сделали так, если бы могли. Речь пойдет не о ваших же сайтах. Просто попросите администрацию сделать следующее.

Изменение содержания страницы. Если служба поддержки и анкета не помогли, вы можете изменить информацию, которая отображается в выдаче. Да, будут не те данные. Но ведь и нежелательных данных не будет, а это важнее.

Если это касается персональных данных, поменяйте контакты, адрес, ФИО. Правда, потребуется время, чтобы поисковая система с точностью отображала измененную информацию. Но этот способ уместен, если отображаемая информация взята из социальных сетей наподобие ВКонтакте.

Если данные находятся на стороннем сайте, попросите администрацию поменять содержание. В остальном – то же самое, что и было сказано выше.

Ошибка 404. Метод подойдет тем, кто просто хочет удалить информацию, а не сделать это в кратчайшие сроки.

Суть в чем. Поисковая система не будет показывать в выдаче страницу, данные которой недоступны. Так сделайте ее недоступной, если имеете такую возможность.

Например, если на какой-то странице есть информация о вас, попросите администраторов сайта удалить ее, вызвав тем самым ошибку 404. Да, вы имеете полное право на это.

Или если у вас есть блог, в котором содержатся ваши данные, но при этом вы не хотите, чтобы они отображались в выдаче, сделайте страницу недоступной. Либо, как сказано выше, поменяйте содержание страницы. Уберите то, что вам не нравится.

Robots.txt. Попросите администрацию сайта закрыть индексацию страницы. Если что, команда «Disallow». Через нее можно закрывать страницы.

Это еще один метод, на реализацию которого потребуется время.

Закрытие индексации в HTML-коде через мета-тег robots. Метод идентичен предыдущему. Но в некоторых случаях так проще закрыть индексацию. Попросите администрацию об этом.

Закрытие индексации в HTML-коде через заголовки х-robots-tag. То же самое. Отличие – запись должна находиться в заголовках.

Есть и незаконный метод для РФ. Шифрование. Сейчас движки большинства сайтов позволяют настраивать шифрование страниц. Короче говоря, делать так, чтобы информация на странице была доступна только после ввода кода.

Повторим – это противозаконно. Администрации придется отвечать за использование криптографии и нарушение требований по обработке данных.

Удаление страницы из Яндекса ручным способом. Администрация сайта, на котором хранится информация о вас, может удалить страницу из панели веб-мастера. Могут-могут, что бы вам ни говорили. Выглядит она примерно вот так:

Вытеснение. Если отображается не конфиденциальная информация, а всего лишь нежелательная, вы можете вытеснить ее из поисковой выдачи. Вытеснить можно любым контентом – начиная отзывами, заканчивая статьями.

Можно вытеснить нежелательную информацию контентом с другой площадки. Поисковая выдача-то одна. А можно выпускать контент на том же ресурсе.

В этом методе есть и плюсы, и минусы. Плюс – все будет выглядеть естественно. Раз уж негативная информация о вас останется, не пропадет, значит, и негодования не возникнет.

Минус – время. Точнее, это минус, если вам некому помочь.

Если информация о вас хранится не от злого умысла, то вам пойдут навстречу. Если же нет, обратитесь в Digital Sharks. Мы знаем, как удалить информацию из Яндекса навсегда.

В теории мы даем гарантию, что на удаление потребуется до 45 дней. Но на практике почти всегда требуется значительно меньше времени.

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена.

Содержание

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.

• Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
• Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

• Если ваш сайт не добавлен в Яндекс.Вебмастер:

  1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
  2. В поле введите адрес страницы, например http://ururu.com/ololo.html.
  3. Нажмите кнопку Удалить.

  Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно.

• Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:

  1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
  2. Установите переключатель в положение По URL.
  3. В поле введите адрес страницы, например http://ururu.com/ololo.html.
  4. Нажмите кнопку Удалить.

  

  Вы можете указать до 500 адресов одного сайта в сутки.

Удалить отдельные страницы сайта из поиска Яндекса

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

1. Установите переключатель в положение По префиксу.
2. Укажите префикс:
   

   Что удалить	Пример
   Каталог сайта	http://example.com/catalogue/
   Все страницы сайта	http://example.com/
   URL с параметрами	http://example.com/page?

   Можно отправить до 20 указаний для одного сайта в сутки.

3. Нажмите кнопку Удалить.

Статусы после отправки URL

Как вернуть страницу в результаты поиска

Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

🔋 В телеграме @sosnovskij я публикую посты, которых нет в блоге. Подпишись, чтобы не пропустить ничего интересного 💪. Например, недавно я провел исследованиие на 2000+ сайтах «Доверять ли Similarweb?» (данные по сравнению поискового трафика только в телеграме).

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача — закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем «уйдут» из базы поисковиков. Но задача у меня была другая.

Детали эксперимента

Цели:

• определить, какой метод запрета индексации приоритетней для поисковых систем;
• понаблюдать в динамике за скоростью удаления страниц из индекса;
• собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google — 2090. Второй: Яндекс — 734, Google — 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name=»robots» и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

Для второго был составлен следующий robots.txt:

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name=»robots»).

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл — robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name=»robots». Это принесло свои плоды — через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

1. Яндекс любит больше работу с robots.txt;
2. Google любит больше работу с meta name=»robots». В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name=»robots».
3. Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно — очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name=»robots» вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !

Используемые источники:

• https://spark.ru/startup/udalenie-informatsii/blog/41053/kak-udalit-informatsiyu-o-sebe-iz-yandeksa
• https://webmaster-seo.ru/yandex-webmaster/udalenie-stranits-iz-poiska-yandeksa/
• https://sosnovskij.ru/kak-bystro-udalit-sajt-iz-indeksa/