Как удалить страницу в Яндексе

Вам нужен сайт? Тогда создание и продвижение сайтов в Санкт-Петербурге — это то, что вам нужно. Доверьтесь профессионалам.

Привет! Часто мы сталкиваемся с тем, что в результате выдачи нашего сайта бывают «мусорные» страницы. Наиболее правильно удалить страницу из индекса в Яндексе с помощью файла robots.txt, о котором я уже писал. Но, к сожалению, Google игнорирует данный файл и все равно «засовывает» некоторые ненужные страницы в индекс (чаще всего в дополнительный, об этом ниже). Поэтому данный урок посвящен прежде всего Гуглу, но Яндекса тоже мы немного коснемся.

к оглавлению ↑

Как узнать, есть ли ненужные страницы («сопли») в индексе?

к оглавлению ↑

Ручной режим

Открываем Google и вбиваем туда фразу site:wpnew.ru, где вместо wpnew.ru Вы, конечно, вбиваете свой адрес сайта:

Вообще, чтобы не держать в голове все эти разные операторы разных поисковых систем, я предпочитаю пользоваться RDS bar. Заходим на наш сайт, нажимаем на кнопку «Анализ сайта»:

И там вы увидите, сколько страниц в индексе Яндекса и в Google:

В идеале эти цифры должны быть очень похожими, практически одинаковыми. То есть тут должны примерно те цифры, которые равняются количеству постов на Вашем блоге. Если это интернет-магазин, то посложнее, так как часто бывает необходимость засовывать страницы с фильтрами или др. параметрами в индекс. И Яндекс, и Google «кушают» их по-разному.

В скобках на скриншоте выше вы видите значение «99%» — это показатель того, какой процент находится в ОСНОВНОМ индексе Google. Есть также страницы в дополнительном индексе, в моем случае это 1%. Такие страницы не участвуют в поиске.

В идеале процент основного индекса должен быть равным 100% или стремиться к этому числу. Если у вас этот процент маленький и очень много страниц в дополнительном индексе, не стоит паниковать, рвать и метать, как любят делать это некоторые. Спокойно сделайте действия описанные ниже.

В RDS Bar нажимаем непосредственно на саму цифру:

И открывается Google со страницами, которые в индексе:

Здесь переходим на последние страницы, тыкая на последние предлагаемые страницы:

Если страниц в индексе довольно много, так можно потерять кучу времени, листая страницы в индексе. Поэтому смотрим на URL, который меняется при переходе на другие страницы, там можно увидеть значение start:

И можно заметить следующую последовательность: если мы находимся на 14-ой странице, там отображается цифра 130, если на 15, то цифра 140 и т.д. То есть данное значение будет принимать цифру по этой формуле:

Значение start=№ страницы*10-10

Если нам нужно попасть на 100 страницу, нам нужно в адресную строку после start ввести 990.

Не боимся, вбиваем цифру ту же самую 990, к примеру:

И вы попадете на последние страницы в индексе Google (если это не конец, введите большее число), и там увидите фразу:

По умолчанию вы видите только страницы в индексе, которые располагаются в основном индексе (то есть те страницы, которые несут информативную ценность по мнению Google). Чтобы увидеть, все страницы вместе с дополнительным индексом, кликните по фразе «repeat the search with the omitted results included».

Теперь вас снова должно отбросить на первую страницу. Повторяем шаг выше, чтобы попасть на последние страницы в индексе:

Если посмотреть чуть выше, вы увидите, что страниц было 54, сейчас стало 59. То есть 5 страниц выдачи — это дополнительный индекс Google и данные страницы не несут никакой информационной пользы по мнению Google (чаще всего это дубли страниц, служебные или еще что-то).

Таких страниц может быть просто куча. В одно время у меня было в мусоре более 15 000 страниц. 🙂

к оглавлению ↑

Автоматический режим

Совсем недавно (после написания этой статьи) я написал новый урок про то, как можно автоматически найти ненужные страницы в индексе с помощью программы ComparseR.

к оглавлению ↑

Как удалить ненужные страницы с индекса Google

к оглавлению ↑

Подстраницы, архивы, метки и пр.

1. Я настоятельно рекомендую поставить себе плагин WordPress SEO. Про это говорил уже не раз. Это лучший SEO плагин для Вордпресс. В нем переходим во вкладку «SEO» -> «Заголовки и метаданные».
   
2. Переходим во вкладку «Таксономии», там в разделе «Метки» ставим галочку напротив «noindex, follow», чтобы исключить из индекса страницы с метками (это, конечно, если вы не продвигаете сайт с помощью меток, как я писал):
   
3. Потом переходите во вкладку «Архивы», там ставите галочку напротив «Add noindex, follow to the author archives» и «Add noindex, follow to the date-based archives»:
   
4. Дальше переходите во вкладку «Остальное» и ставите галочку «Noindex для подстраниц и архивов»:
   
5. Нажимаем «Сохранить изменения».

к оглавлению ↑

Как удалить Replytocom из индекса

Если у вас на сайте древовидные комментарии, в индексе также могут быть страницы с replytocom. Вообще, у меня вместе с ними было 17 000 страниц в индексе, удалив их из индекса на данный момент в Google пока осталось около 2000 страниц. Удалялись долго, почти год. То есть ненужные страницы выпадали по-тихоньку из индекса.

Подобные страницы очень легко удалить с помощью того же самого плагина WordPress SEO by Yoast.

1. Переходим во вкладку SEO -> Расширенный:
   
2. Переходим во вкладку «Постоянные ссылки», там ставим галочку напротив «Удалить переменные ?replytocom»:
   
3. Сохраняем изменения и наслаждаемся, как Google начнет сам исключать из индекса подобные страницы.

к оглавлению ↑

Страницы с feed

На некоторых сайтах вообще не нужен RSS. Там есть смысл в его отключении. С помощью RSS может попасть всякий шлак в индекс, подобие этого:

Открываем файл functions.php и туда вставляем вот этот код (вставляем перед закрывающим ?>):

// Отключаем RSS ленту  function fb_disable_feed() {  wp_redirect(get_option('siteurl'));exit;  }    add_action('do_feed', 'fb_disable_feed', 1);  add_action('do_feed_rdf', 'fb_disable_feed', 1);  add_action('do_feed_rss', 'fb_disable_feed', 1);  add_action('do_feed_rss2', 'fb_disable_feed', 1);  add_action('do_feed_atom', 'fb_disable_feed', 1);    remove_action( 'wp_head', 'feed_links_extra', 3 );  remove_action( 'wp_head', 'feed_links', 2 );  remove_action( 'wp_head', 'rsd_link' );

Теперь, если мы увидим страницы вида site.ru/stranica.html/blabla/feed и перейдем на нее, нас перебросит на главную страницу сайта. И Google вскоре исключит подобные страницы из индекса.

Также можно сделать, чтобы перебрасывало не на главную страницу, а на какую-нибудь выбранную (страницу подписки, допустим). Для этого в коде вместо:

wp_redirect(get_option('siteurl'));exit;

вставляем:

wp_redirect('http://site.ru/podpiska');exit;

где http://site.ru/podpiska — любая страница, которую вы пропишите.

к оглавлению ↑

Как удалить сайт из индекса

Бывает необходимость в том, что сайт молодой и нужно поставить запрет на индексацию до того времени, пока не удалятся «стандартные посты», которые не уникальны, не поменяется шаблон на новый и не добавится десяток страниц по теме. Все это, обычно делается для того, чтобы поисковые системы «скушали» сайт и понимали какая тематика его, направление, структура и пр. с самого начала.

Чтобы исключить весь сайт из индекса, добавьте в header.php до закрывающегося head вот этот код:

<meta name="robots" content="none"/>

Это подойдет, если нужно скрыть определенную html страницу тоже. Например, у вас сверстан какой-либо лэндинг на отдельной html странице, отдельно от Вашего шаблона и вам не нужно, чтобы он попал в индекс.

к оглавлению ↑

Как ускорить удаление страниц из индекса поисковых систем

Сделанные выше манипуляции исключат появление ненужных страниц в будущем. Старые тоже будут сами «отваливаться» с индекса, но не так быстро, как хотелось бы, если кто-то хочет ускорить процесс и ненужных страниц в дополнительном индексе не так много, то можно поработать немного ручками.

к оглавлению ↑

Google

1. Заходим в панель инструментов Google. Там переходим на наш сайт, вкладка «Индекс Google» -> «Статус индексирования»:
   
2. Здесь можно увидеть, как ненужные страницы выпадают из индекса. То есть общее количество страниц в индексе регулярно уменьшается. Чтобы ускорить процесс удаления страниц из индекса, просто переходим во вкладку «Удалить URL-адреса»:
   
3. Там нажимаем на кнопку «Создать новый запрос на удаление»:
   Обратите внимание, в robots.txt обязательно должно быть прописано правило, которое запрещает индексировать данное содержимое. То есть то, если вы хотите что-то удалить, URL должен стоять под запретом в robots.txt, иначе страница не удалится из индекса.
4. Например, у меня в индексе была страница wpnew.ru/category/lichnoe/page/5, ее вставляю в поле и нажимаю «Продолжить»:
   
5. В следующем окне, можно выбрать между: удаление только 1 страницы или целого каталога:
   
6. Если требуется удалить только страницу, выбираем «Удалить страницу из результатов поиска и из кеша» и нажимаем «Отправить запрос». Вы увидите подобное уведомление:
   
7. Повторюсь, должно быть прописано правило в robots.txt, который запрещает индексировать данную страницу. В моем случае это вот это правило:
   
8. Также вы можете удалить сразу каталог ненужных страниц из индекса. Для этого вставляем не конкретный URL, а к примеру что-то подобное со «звездочкой»:
   
9. Тем самым, удалится целая рубрика и то, что в ней содержится. Обычно страницы пропадают из индекса в течении 1-х суток. Сроки могут достигать и до 1-ой недели.

к оглавлению ↑

Яндекс

В Яндексе принцип такой же. Заходим в «Удалить URL» и там вбиваем URL ненужной страницы, которая попала в индекс Яндекса:

Чтобы страница удалилась из индекса, необходимо, чтобы страница была удалена физически (то есть отдавала 404 ошибку, к примеру), либо также была запрещена к индексации с помощью robots.txt или другими способами. Яндекс также удалит страницу из индекса, правда у нее это происходит обычно дольше, чем с Google.

к оглавлению ↑

С помощью программы ComparseR

Все эти «ускорения» по удалению страниц с индекса можно сделать с помощью великолепной программы ComparseR и не нужно будет сидеть и забивать по одному URL в панели вебмастеров. Программа может позволить удалить ненужные страницы за 1-2 минуты. Очень удобно.

к оглавлению ↑

Вывод

В этом уроке я продемонстрировал то, как удалить «мусорные» страницы из индекса, их еще называют «сопли». Их удаляться рекомендуется, но не стоит делать целую драму из этого. А то я помню, как многие истерили по поводу replytocom, мол это какая-то ну ОЧЕНЬ серьезная проблема, грубейшая ошибка в SEO. Я бы это так не назвал, это слишком сильное преувеличение. Просто стремитесь к чистоте поиска, чтобы у Вас на сайте было все пушисто и гладко.

Спасибо за внимание, до скорой встречи! Будут вопросы — с радостью отвечу в комментариях. Пока!

P.s. Нужно продвинуть сайт? Компания Pro Studio — продвижение сайта от профессионалов.

wpnew.ru

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс.

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1. Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через Google Webmaster Tools и Яндекс Вебмастер.

Удаление страниц из поиска Google

Заходим в:

— индекс Google

— удалить URL адреса

Далее нажимаем «создать новый запрос на удаление» и добавляем в него нужный адрес URL, который удаляем.

После чего отправляем запрос на удаление страницы.

Далее URL страницы вноситься в список удаляемых, и переходит в статус ожидания.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Переходим по ссылке: http://webmaster.yandex.ua/delurl.xml

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

2. Robots.txt

Файл robots.txt очень нужный инструмент, если дело идет к разрешению или запрещению индексации сайта от поисковых ботов.

Для того, чтобы удалить конкретные страницы с помощью robots.txt, то в сам файл дописываем такое:

За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

User-Agent: *

Disallow: /razdel

Закрытие страницы:

User-Agent: *

Disallow: /stranica1.html

Закрытие страниц поиска:

User-Agent: *

Disallow: /seoprofy.ua/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3. 404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

— 301 редирект

— мета тег robots

— X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Статьи которые дополняют:

— 5 способов удалить страницу из поиска Яндекса или Google

— Как использовать robots.txt рекомендации Яндекса

— Окончательное удаление страницы из индекса Google

А какие способы вы еще знаете, чтобы быстро удалить страницы из поиска?

seoprofy.ua

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача — закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем «уйдут» из базы поисковиков. Но задача у меня была другая.

Детали эксперимента

Цели:

• определить, какой метод запрета индексации приоритетней для поисковых систем;
• понаблюдать в динамике за скоростью удаления страниц из индекса;
• собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google — 2090. Второй: Яндекс — 734, Google — 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name=»robots» и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

<meta name=»robots» content=»noindex, nofollow»/>

Для второго был составлен следующий robots.txt:

User-agent: *
Disallow: /

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name=»robots»).

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл — robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name=»robots». Это принесло свои плоды — через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

1. Яндекс любит больше работу с robots.txt;
2. Google любит больше работу с meta name=»robots». В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name=»robots».
3. Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно — очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name=»robots» вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !

sosnovskij.ru

Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…

Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.

5 способов удаления страниц из поисковых результатов

1. 404 ошибка

Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.

HTTP/1.1 404 Not Found

В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.

Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.

2. Файл robots.txt

Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.

Закрыть раздел администраторской панели от попадания её в индекс поисковиков:

User-Agent: *
Disallow: /admin/

Закрыть определенную страницу от индексации:

User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска

В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.

Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.

3. Мета-тег robots

Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.

<meta name="robots" content="noindex,nofollow" />

Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.

4. Заголовки X-Robots-Tag

Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.

Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.

X-Robots-Tag: noindex, nofollow

В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).

devaka.ru

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.

• Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

• Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
• Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

• Если ваш сайт не добавлен в Яндекс.Вебмастер:

  1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
  2. В поле введите адрес страницы, например http://ururu.com/ololo.html.
  3. Нажмите кнопку Удалить.

  
  Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно.

• Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:

  1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
  2. Установите переключатель в положение По URL.
  3. В поле введите адрес страницы, например http://ururu.com/ololo.html.
  4. Нажмите кнопку Удалить.

  

  Вы можете указать до 500 адресов одного сайта в сутки.

Удалить отдельные страницы сайта из поиска Яндекса

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

1. Установите переключатель в положение По префиксу.
2. Укажите префикс:
3. Нажмите кнопку Удалить.

Статусы после отправки URL

Как вернуть страницу в результаты поиска

Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

webmaster-seo.ru

Ошибка 404

Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.

Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 — «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.

Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.

После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.

У такого метода есть свои особенности:

• Простота: настройки проводятся всего в несколько кликов.
• Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
• Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
• Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.

Если для вебмастера этот вариант — один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.

Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.

Читайте подробнее о том как настроить страницу 404 ошибки и минимизировать отрицательные действия от увеличения количества таких ошибок.

Robots.txt

Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.

Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka. Но в их основе один принцип: использование директивы Disallow.

Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.

Содержание файла robots.txt может включать лишь две строки:

• User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «User-agent: *»);
• Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.

Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.

После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.

Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.

Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.

В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.

Мета-тег robots

Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.

В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:

После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.

Чем хорош этот метод?

Через мета-теги можно удалить url из Google или Яндекс как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.

Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.

Закрыть страницу через мега-теги — лучший способ удалить страницу из индекса Google, оставив ее активной в Яндекс при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.

Пример

Закрывает страницу только для ПС Google

Закрывает страницу только для ПС Яндекс

Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.

Из недостатков применения мета-тегов — если у вас не WordPress, то могут возникнуть проблемы с внедрением. В WordPress вопрос решается установкой плагина Yoast SEO, где каждую страницу можно будет закрыть с помощью мета-тега.

301 редирект

Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.

Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.

Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.

При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.

Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.

На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.

Подробнее о настройке 301 редиректа на сайте Devaka.

Удаление вручную через панель вебмастера

Важно! Метод работает для ускорения удаления информации из поисковой системы.

Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из Яндекса или другого поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно — необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.

Удалить сайт из поиска google можно через Google Search Console:

1. Авторизуйтесь на панели инструментов.
2. Выберите нужный ресурс.
3. Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
4. Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».

В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.

Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.

Аналогичным путём идем и в Яндексе Вебмастре. Инструкция данного поисковика сразу предупреждает о необходимости предварительного запрета на индексирование через robots.txt или мета-теги.

После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Чтобы ускорить этот процесс, сразу после внесения изменений в robots.txt или мега-тегах зайдите в свой кабинет на Яндекс. Вебмастере.

Здесь в разделе «Удалить URL» вводите адрес страницы и подтверждаете ее удаление. За день допускается деактивация не более 500 объектов.

Чтобы удалить url из Яндекса понадобится больше времени, чем в случае с Google: от нескольких часов до нескольких дней.

Инструмент удаления URL отлично подходит для ситуаций, когда срочно необходимо убрать страницы с конфиденциальной информацией или удалить информацию добавленную при взломе сайта.

Удаление всего сайта

Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.

Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google или Яндекса, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.

Как закрыть весь сайт на этапе разработки?

Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.

Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.

Итого

Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.

Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в заявке.

livepage.pro

Причины удаления веб страниц из поиска

Мы не станем разбирать проблемы гигантов, как, например, история с известным мобильным оператором, название которого я афишировать не стану, лишь скажу, что он начинается на «мега» и заканчивается на «фон». Когда у последнего проиндексировались и попали в поиск страницы со смс-сообщениями пользователей. Также не станем заострять внимание на проблемах интернет-магазинов, у которых периодически можно найти личные данные пользователей и подробности их заказов в открытом доступе. Ну и так далее.

Мы разберем наболевшие проблемы обычных предпринимателей, которые хотят решить свои задачи:

1. Дубли. Дублированный контент мешает продвижению сайтов, это ни для кого не секрет. Причины возникновения могут быть разными. Подробнее можете посмотреть в нашей статье.
2. Информация утратила свою актуальность. К примеру, была какая-то разовая акция, да прошла. Страницу нужно удалить.
3. «Секретики». Данные, которые не для всех. Вспоминаем ситуацию с оператором связи. Такие странички необходимо скрывать от зевак.
4. Смена URL адресов. Будь то переезд сайта или настройка ЧПУ, в любом случае придется избавляться от старых страниц и предоставлять поисковику новые.
5. При переезде на новое доменное имя вы решили вообще удалить сайт из поисковика Яндекса, чтобы не пострадала уникальность контента.

На самом деле причин удалить сохраненные страницы из поисковых систем может быть кратно больше. Список нужен лишь для иллюстрирования типовых проблем.

Как удалить страницу из поисковика Яндекса

Есть два пути развития событий. Долгий ( но ленивый) и ускоренный (придется чуть-чуть пошевелиться).

• Долгий способ

Если время не торопит и есть дела поважнее, то можно просто удалить страничку через систему управления контентом (она же админка или CMS). В таком случае, переходя по уже несуществующему URL адресу, поисковой робот обнаружит, что сервер отвечает ему кодом 404 — страница не существует, а значит ее нужно выкинуть из поиска, что со временем случиться без вашего вмешательства.

• Ускоренный способ

Своеобразное продолжение первого. После удаления из CMS, нужно воспользоваться сервисом Яндекса Удалить URL. Это приведет к оперативной реакции со стороны ПС и в ближайшее время ненужная информация пропадет из индекса.

Но что, если нужно удалить страницу из поисковика, оставив её при этом на самом сайте?

Как удалить страницу в поисковике Яндекса не удаляя ее с сайта

Теперь нам нужно сохранить информацию на сайте, но не дать поисковикам демонстрировать ее пользователю ни при каких запросах. Для этого нужно:

Во-первых, закрыть страницу от индексации с помощью файла robots. txt, уверен, с ним вы уже сталкивались. Внутри файла необходимо прописать следующее:

Это закроет от индексации контент, URL адрес которого www.домен.ru/i-hate-my-page

Во-вторых, так как robots. txt содержит не жесткий набор правил для робота, а скорей носит рекомендательный характер, то обычного Disallow может быть недостаточно. Поэтому для пущей уверенности пропишите в html коде страницы следующее:

Обратите внимание, что теги head тут не для красоты. Мета-тег роботос должен располагаться между тегами <head>.

Кульминацией станет добавление адреса в уже знакомый сервис Яндекса Удалить URL, которым мы уже умеем пользоваться.

Как удалить сайт из поисковика Яндекса

Для того чтобы полностью удалить сайт из поисковой базы нужно пройти те же пункты, что и для удаления страницы, но с некоторыми нюансами.

• Закройте весь сайт от индексации добавив в файл robots. txt строчки
  User-agent: Yandex
  Disallow: /
• Удалите страницы с помощью, уже родного сервиса Удалить URL.
• Избавьтесь от всех ссылок ведущих на ваш сайт.
• Ждите переиндексации.

Если же сайт вам больше совсем ненужен, удалите все файлы, которые находятся на хостинге и забудьте об этом. В крайнем случае, обратить в службу поддержки ПС.

Итог

Хочется сказать, что процедура удаления сохраненных страниц из поиска не очень трудная и порой бывает просто необходимой. Надеюсь, владельцы сайтов, которые не желают сильно погружаться в подробности, сумеют найти в этой статье ответ на вопрос как удалить ненужные веб-страницы из поиска Яндекс.

Надеюсь, что было полезно!

semantica.in

Почему закрытые и удаленные страницы есть в поиске

Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами файла robots.txt или мета-тегом.

Несуществующие страницы находятся в поиске по следующим причинам:

• Самое банальное — страница удалена и больше не существует.
• Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
• Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится менять структуру страниц на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
• Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или редирект с кодом 3хх.

Лишние страницы появляются в индексе при следующих условиях:

• Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для вебмастеров.
• Они были проиндексированы до того как были закрыты доступными способа.
• На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.

Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от апдейтов или частоты посещения сайта роботом.

Как удалить страницу из поисковой системы Яндекс

Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.

Главное условие успешного запроса на удаление:

• страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
• при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Как удалить страницу из поисковой системы Google

Для удаления страниц из Гугла поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.

Перед нами специальная форма с помощью которой создаем новый запрос на удаление:

Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…

Из представленных вариантов нам доступно:

• удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
• удаление только страницы из кэша;
• удаление каталога со всеми входящими в него адресами.

Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для Яндекса. Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.

webliberty.ru