Если Вы, уважаемый читатель, всерьёз оберегаете доброе имя своего бренда в социальных сетях ― попробуйте ради интереса «погуглить» свою компанию. Обратите внимание не только на общую выдачу, но и на раздел «Картинки».

Если всё идёт хорошо ― первые 30 результатов будут о Вашем проекте, причём все как один ― положительные и укрепляющие Ваши позиции.

Но, к сожалению, довольно часто в выдачу пролезают результаты, которые хотелось бы удалить. Обычно это что-то отрицательное или не имеющее отношения к Вашему бренду или информация, о которой вы не хотели бы сообщать (например, сведения о крупных сделках или о взаимодействии с политическими движениями). Такие результаты поиска совершенно не работают на укрепление позиций Вашего бренда.

Как избавиться от нежелательной позиции в выдаче? Можно миллион раз кликнуть по ссылке, которая идёт следующей ― и, возможно, Google поймёт свою ошибку, снизив рейтинг того URL, который вы не хотите видеть. Но это малоэффективный и сильно трудозатратный способ. Вы также можете выложить побольше свежего и актуального контента в социальных сетях, но придётся очень потрудиться, чтобы снизить рейтинг «вредной» страницы. К тому же это займёт много времени. Можете нанять хорошего маркетолога, чтобы он создавал нужный контент, но будьте готовы раскошелиться. Так как же без лишних затрат удалить негативную для вашего имиджа страницу из кэша поисковой системы Google?

Есть несколько других ― более простых ― способов избавиться от нежелательных результатов выдачи Google.

1. Как удалить кэшированную копию страницы

Google позволяет любому пользователю сделать запрос на удаление копии страницы, сохранённой в кэше. Допустим, Вы обновили какую-либо информацию на сайте ― добавили отзыв клиента или заменили картинку, ― но старая страница так и «висит» в результатах поиска. Удалить ненужную копию очень легко, нужно только следовать инструкции. Обратите внимание, что эта процедура применима только к HTML-страницам. Другие файлы (в формате DOC или PDF) в случае изменений нужно полностью удалять с веб-сайта.

Итак:

Шаг 1. Зайдите на страницу Google «Инструменты для веб-мастеров. Удаление содержания ».
Шаг 2. Нажмите «Создать новый запрос на удаление».
Шаг 3. Введите URL страницы, которая была изменена (не ссылку на страницу выдачи и не ссылку на кэшированную страницу!) Кроме того, URL чувствителен к регистру, поэтому используйте в точности те же символы, что и на сайте.
Шаг 4. Нажмите «Продолжить».
Шаг 5. Выберите причину «Содержание страницы изменилось, поэтому версия, сохранённая в кэше Google, является устаревшей».
Шаг 6. Введите слово, которое присутствует на кэшированной странице и которого нет в текущей версии. Это нужно для того, чтобы Google понял, что страница была изменена. Лучше написать одно слово, а не фразу. Не нужно описывать удалённый контент или объяснять сделанные изменения: просто дайте одно слово, которое было в устаревшей версии страницы. Например, если на странице было указано ваше имя, а затем оно было удалено, не нужно писать «убрали моё имя». Просто введите его («Василий»), поскольку оно содержится в кэшированной копии.
Шаг 7. Нажмите «Удалить версию страницы, сохранённую в кэше».

2. Как удалить контент с чужого сайта из результатов поиска Google

Google позволяет удалять контент в трёх случаях: если этого требует закон, либо если дело касается личной информации или устаревших данных.

● Если вы хотите сообщить, что какой-либо контент должен быть удалён из Google из-за нарушения закона, зайдите на страницу «Удаление содержания из Google ». Выберите продукт (например, «Веб-поиск») и тему вашего запроса (нарушение авторских прав, незаконное использование товарного знака и др.)

● Если вы обеспокоены появлением ваших личных данных в результатах поиска Google, откройте страницу «Проблемы с веб-поиском » и выберите подходящие варианты. Вам будут даны рекомендации по решению Ваших вопросов.

● Если какие-либо картинки, страницы или сайты были удалены, но всё ещё появляются в поисковой выдаче, это может означать, что Google ещё не проиндексировал сайт и не узнал об изменениях. В ожидании обновления баз Google можно воспользоваться «инструментом для веб-мастеров «Удаление содержания» ». Механизм запроса тот же, что и при удалении кэшированной копии (как в пункте 1), только в качестве причины выбирайте «Страница была удалена из поисковых систем или доступ поисковых роботов к ней был заблокирован».

3. Как удалить картинку из результатов поиска Google

Чтобы запросить удаление изображения из результатов поиска, вам понадобится точный URL картинки, которую вы хотите удалить.

Шаг 1. Кликните по картинке на странице результатов поиска.
Шаг 2. Кликните «Открыть в полном размере» и скопируйте адрес ссылки.
Шаг 3. Вставьте ссылку в текстовый файл, чтобы она была у вас под рукой, когда будете использовать какой-либо инструмент для удаления.

«Google.Картинки» ― это не источник изображений как таковой, а система их поиска. Поэтому лучший способ исключить картинку из выдачи ― это удалить её с сайта, на котором она размещена. Если вы владелец сайта, то можете самостоятельно удалить изображения или использовать файл robots.txt, чтобы заблокировать индексацию поисковыми роботами Google. Если изображение размещено на чужом сайте, вы можете связаться с его веб-мастерами и попросить об удалении контента. Когда изменения будут произведены, при следующей индексации картинка исчезнет из результатов поиска.

В отдельных случаях, к примеру, если использование изображения нарушает ваши авторские права, вы можете отправить запрос на удаление контента в «проблемах с веб-поиском » и «инструментом для веб-мастеров », описанных выше.

P.S. Чтобы обезопасить себя от воровства текстов, воспользуйтесь нашими советами по защите контента ― страховкой от лишних разбирательств с недобросовестными сайтами.

Текст подготовлен по мотивам публикации: «Your Brand: How To Get Rid Of Unwanted Search Engine Results» (англ.)

Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…

Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.

5 способов удаления страниц из поисковых результатов

1. 404 ошибка

Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.

HTTP/1.1 404 Not Found

В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.

Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.

2. Файл robots.txt

Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.

Закрыть раздел администраторской панели от попадания её в индекс поисковиков:

User-Agent: *
Disallow: /admin/

Закрыть определенную страницу от индексации:

User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска

В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.

Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.

3. Мета-тег robots

Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML -коде страницы, между тегами .

Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.

4. Заголовки X-Robots-Tag

Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.

Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.

X-Robots-Tag: noindex, nofollow

В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).

5. Ручное удаление из панели для вебмастеров

Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.

Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.

Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.

Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.

Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.

Пример использования HTTP -заголовка X-Robots-Tag в Apache.

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс .

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1. Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через и .

Удаление страниц из поиска Google

Заходим в:

После чего отправляем запрос на удаление страницы.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

Закрытие страницы:

Disallow: /stranica1.html

Закрытие страниц поиска:

Disallow: /сайт/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3. 404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

— мета тег robots

— X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Часто при создании и функционировании сайта возникают страницы удаленные или с изменившимися адресами. Проблема в том, что если до удаления поисковик успел их проиндексировать, при запросе система выдаст пользователю всю информацию, содержащуюся на странице. Или страницы служебные становятся достоянием общественности - а ведь на них может быть расположена информация, не предназначенная для чужих глаз. Так как же избежать подобной неприятности, как удалить страницу в Google и других поисковиках и сделать видимое невидимым?

Казусы с устаревшими страницами встречаются в сети сплошь и рядом. Поиск может выдать личную информацию клиентов, все их заказы в подробностях. Ведь сплошь и рядом нас просят заполнить формы с очень личной информацией, которая должна быть скрыта ото всех. Как избежать подобных ошибок мы и расскажем в этой статье.

Причины, по которым поисковики выводят нас на несуществующие страницы

Самая распространенная причина - страница удалена, не существует. И веб-мастер забыл убрать ее из индекса Яндекса (или других ПС) или сайт поддерживает новичок, который просто не знает, как удалить страницу в поисковике. Или вследствие редактирования сайта вручную страница стала недоступна. Этим часто грешат начинающие администраторы веб-сайтов, относясь пренебрежительно к работе своего ресурса.

Продолжим разговор о структуре сайта. Часто системы управления контентом (так называемые CMS) изначально настроены не оптимально. Например, при установке сайта на хостинг широко известного блогового движка WordPress, ресурс не удовлетворяет требованиям оптимизации, так как url состоит из цифровых и буквенных идентификаторов. Веб-мастеру приходится вносить изменения в структуру страниц на ЧПУ, вследствие чего может появиться множество нерабочих адресов, на которые и будет выводить поисковик при запросе.

Поэтому не забывайте отслеживать изменившиеся адреса и используйте редирект 301, который будет направлять запросы со старого адреса на новые. В идеале все настройки сайта должны быть завершены до его открытия. А здесь поможет локальный сервер.
Изначально неправильная настройка работы сервера. При запросе несуществующей страницы должен выдаваться код ошибки 404 или 3xx.

Причины появления в индексе, казалось бы, удаленных страниц

Иногда вам кажется, что все ненужные или лишние страницы закрыты от посторонних глаз, но они тем не менее отлично отслеживаются поисковиками без каких-либо ограничений. Возможно, это при:

• неправильном написании файла robots.txt;
• администратор слишком поздно удалил лишние страницы из индекса - поисковики уже успели их проиндексировать;
• если сторонние сайты или другие страницы этого же сайта ссылаются на страницы с адресами до их изменения веб-мастером.

Итак, казусов может быть великое множество. Рассмотрим варианты решения проблемы.

Как удалить страницу из индекса Яндекса и других поисковиков

1. robots.txt
   Любимый многими способ удаления страниц из индекса - применение файла robots.txt. Написано множество опусов на тему правильной настройки этого файла. Переписывать их здесь не будем, но этот файл поможет удобно скрыть от поиска целый раздел сайта или отдельный файл.
   Этот способ также требует ожидания - пока робот поисковика прочтет файл и вычеркнет страницу, раздел из поиска. Как уже говорилось ранее, наличие внешних ссылок на закрытые страницы делают их доступными для просмотра, будьте внимательны.
2. Мета-тег robots
   Этот тэг задается в самом HTML - коде страницы. Метод удобен своей простотой. Рекомендую начинающим веб-мастерам, создающим свой сайт страничку за страничкой. Тэг с легкостью добавляется на все необходимые страницы, содержимое которых необходимо скрыть от посторонних глаз. При этом не засоряется излишними указаниями файл robots.txt, оставаясь простым и понятным. У этого способа удаления из видимости поисковиков есть один недостаток - сложность применения к динамическому сайту. Подобные ресурсы, благодаря шаблонному подключению модулей, могут закрыть все страницы ресурса вместо нескольких выбранных - здесь надо быть внимательным!
3. X-Robots-Tag
   Метод пока что годится только для зарубежных поисковых систем, таких как Google. Яндекс этот тэг пока что не поддерживает, может быть в будущем что-то изменится. Очень похож на мета-тег robots, основное его отличие его то, что пишем тэг в самих http-заголовках, скрытых в коде страницы. Иногда использование данного способа очень удобно, но не забывайте что страницы закрываются только частично. Поисковик Яндекса будет по прежнему их находить без проблем. Этим приемом частенько пользуются мастера «черного SEO», скрывающие от поисковиков страницы со ссылками.

Как удалить страницу в поисковике Google и Yandex

1. 404 ошибка. Простейший способ удалить страницы из индекса поисковиков - это фактически удалить ее и применить правило, чтобы по этому адресу сервер выдавал ошибку 404, извещающая нас что запрашиваемая страница не существует. Большинство CMS, не исключение и WordPress, при удалении страницы корректно сообщают роботу что документ отсутствует и необходимо его выкинуть из индекса поисковика.
   Однако код 404 начнет действовать только после посещения ресурса роботом. Все зависит от того, когда страница была проиндексирована, это может иногда занимать довольно значительное время.
   Этот метод не подходит, если страница еще нужна для работы сайта, к примеру, это служебная информация. Рекомендую использовать приведенные ниже способы.
2. Ручное удаление. Надежный, быстрый и простой способ, а вместе с тем всем доступный - это ручной. Ссылки для веб-мастеров, по которым можно удалить страницы из Яндекса и Google:
   • Яндекс ;
   • Google .

   Только здесь есть условие - для работы этого метода нужные страницы должны быть предварительно закрыты от робота любым из уже перечисленных выше способов. Если ресурс большой, то этот метод недостаточно быстр по исполнению. Придется удалять каждую страницу в отдельности. Зато он прост и понятен даже новичкам. Из практики Google затрачивает на обработку запроса несколько часов, Яндекс действует чуть помедленнее, придется ждать обновления. И все же, если сравнивать с предыдущими методами удаления страниц в поисковике - этот самый быстрый.

Правильно составленная структура сайта облегчает его работу, улучшает видимость для поисковых систем и составляет о сайте положительное впечатление у его посетителей. Ведь что может быть важнее для ресурса, чем репутация и доверие к нему.

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является или была удалена.

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt .

Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
• Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

добавьте и подтвердите сайт в Яндекс.Вебмастере .

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

1. Установите переключатель в положение По префиксу.
2. Укажите префикс:

   Можно отправить до 20 указаний для одного сайта в сутки.

3. Нажмите кнопку Удалить.

Статусы после отправки URL

Как вернуть страницу в результаты поиска

Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.