Удалить страницу из поиска яндекс

Обычно при поисковом продвижении сайта все стараются как можно быстрее «загнать» документ в индекс поисковика. Но бывает и так, что в поиске оказывается совсем не нужная страница. Например, с какими-либо конфиденциальными данными или с устаревшим содержанием.

Кроме того, если при создании сайта вы не настроили файл Роботс.тхт, то в поиске Гугла, Yandex и других ПС могут оказаться страницы-дубли. Особенно характерно это для блогов на WordPress. Данная CMS традиционно создаёт множество документов с идентичным контентом.

Если «нехорошие» страницы попали в поисковую выдачу, то нужно произвести их удаление. На данный момент сделать это можно 5-ю способами, причём 5-й не подействует без первых 4-х.

Как удалить страницу из Яндекса

1-й способ — сделать так, чтобы данной страницы вообще не было на сайте. Тогда поисковик, при последующем к ней обращении, выкинет её из своего индекса.

Это просто осуществить, если страницы физические, а не динамические. Если они динамические (т.е. генерируются сервером — как на большинстве современных движков), то фактически их нет, поэтому и удалять нечего. В данном случае необходимо, чтобы при обращении к этой странице сервер выдавал бы т.н. код 404 (Not Found):

HTTP/xx 404 Not Found

Большинство современных CMS (в том числе, и WordPress) делают это корректно для удалённых страниц.

Такой код сообщает поисковому роботу, что документ отсутствует и надо выкинуть его из индекса.

Стоит сразу добавить, что удаляются страницы из Яндекса не так быстро, как хотелось бы. Обычно происходит это за 1 и более обновлений выдачи. Нужно подождать.

2-й способ — обнаружив, что ненужные документы попали в SERP, необходимо проверить файл Robots.txt и запретить эти документы к индексации (директивой Disallow или Clean-param). Со временем ПС удалит их из поиска.

3-й способ — добавить в код «нежелательных» документов мета-тег Robots. Как это делать почитайте в статье про meta name robots.

web-ru.net

Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.

Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).

Как удалить страницы из поиска Яндекса: стандартная процедура.

Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:

— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,

— У Вас на сайте должен быть файл robots.txt.

Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:

Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:

Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.

Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.

Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.

Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».

Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:

Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».

Появились затруднения

Получив несколько таких сообщений, я глубоко задумался. Как же так:

1. одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
2. индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
3. запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса. Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
4. Скажите мне на милость, чем отличаются эти две строчки:

Disallow: /category/*/*

Disallow: /tag/*

Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!

Рекомендую сделать, чтобы удалить ненужные страницы

Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:

User-agent: Yandex

Disallow: /tag/

И вот она, любезная нашему сердцу, строчка – «URL добавлен в очередь на удаление»:

Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.

И в конце несколько кратеньких советов:

1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.

2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.

3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.

4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.

5. Примеры строчек:

— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты

— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,

надо писать все после слэша включительно(слэша, закрывающего название сайта):

/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.

В результате должно получиться так:

Disallow: /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it

6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.

7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.

А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.

Удачи!

Автор: Сергей Ваулин

www.novichkoff.ru

Зачем нужно убирать страницы из индекса?

Порой владельцу веб-ресурса приходиться скрывать документ от поисковиков по следующим причинам:

• сайт находится в стадии разработки и попал в выдачу совершенно случайно;
• контент на странице больше неактуален;
• документ дублирует другую страницу, которая уже есть на сайте;
• в индекс попали служебные страницы, где размещены личные данные клиентов.

Во избежание таких случаев, сегодня мы поговорим о 4 эффективных способах удаления страницы из индекса поисковых систем.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Данный метод закрытия доступа к страницам вашего сайта для поисковых роботов считается одним из самых легких. Причем этот инструмент идеально подходит для тех случаев, когда определенные URL нужно удалить срочно.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер. Как добавлять сайт на эту площадку для ускорения индексации, мы рассказывали здесь. Перейдите по ссылке https://webmaster.yandex.ru/tools/del-url/ и добавьте в соответствующее поле адрес конкретной страницы, затем нажмите «Удалить».

С большой долей вероятности Yandex попросит вас ускорить процесс удаления страницы из базы данных системы. Для этого вам нужно предварительно закрыть ее от ботов через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404. Про то, как это сделать, мы поговорим чуть позже.

Понадобится несколько часов или даже дней, прежде чем боты удалят документ из базы. Это связано с тем, что системе нужно будет отслеживать его статус и убедиться, что он уже не изменится.

Google

Авторизируйтесь на площадке Google Webmaster Tools. Предварительно добавьте свой сайт в индекс, если вы еще этого не сделали. Затем найдите там вкладку «Индекс Google», и под ним «Удалить URL адреса». В появившемся окне выберите опцию создания запроса на удаление, и укажите в поле адрес удаляемого документа. Затем отправьте запрос.

Дальше сверху экрана появится сообщение о том, что указанный URL был добавлен в список удаляемых. Вам остается только ждать. Как правило, документ из индекса Google удаляется в течение 2-24 часов.

Ошибка 404 на сервере

Наверняка каждый пользователь, ища нужную информацию в Интернете, попадал на страницу, где выдавало ошибку 404 – «Страница не найдена». Это значит, что искомый по вашему запросу документ был удален с ресурса.

Сделать это вебмастер может в панели управления сайтом, например, WordPress. Для поисковиков это означает, что вы настраиваете ответ сервер этой страницы так, чтобы на определенном адресе появился код 404 not found. И когда робот снова посетит данный URL, сервер сообщит ему, что страницы больше нет. Это дает понять поисковикам, что документ удален с сайта, и они уберут его из поисковой выдачи, чтобы посетители не заходили на него и не читали ошибку 404.

К характерным особенностям данного способа можно отнести:

1. Простую настройку всего за несколько кликов.
2. Полное исчезновение документа из веб-ресурса. Из-за этого не рекомендуется использовать данный метод в случае, когда из индекса нужно убрать служебную страницу (конфиденциальную информацию клиентов и пр.).
3. Также стоит прибегнуть к другому варианту скрытия страницы, например, 301 редирект, если на нее ведут входящие ссылки.

Для вебмастеров такой метод является одним из самых удобных, а вот посетителю ошибка 404 может не понравиться, и есть риск того, что пользователь, увидев ее, перестанет заходить на сайт. Но выход есть и из этой ситуации.

Изменение файла robots.txt

Еще один распространенный метод, к которому прибегают вебмастера. Он позволяет скрыть отдельные документы и целые разделы. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Подобные команды обеспечиваются применением директивы Disallow.

Для скрытия страницы от поисковых машин, вам нужно получить доступ к корневой папке сайта. В документе robots.txt в основном содержатся 2 строки:

1. User-agent. Здесь указывается имя робота определенного поисковика, которому вы запрещаете сканировать страницу, или же прописывается код User-agent: *, применимый сразу для всех ботов.
2. Disallow. Тут прописывается URL удаляемой страницы.

Вместе они создают команду для поисковых машин, касающуюся указанного URL. Если требуется, вы можете в одном файле скрыть сразу несколько документов на одном ресурсе, и они никак не будут влиять друг на друга.

Например, вот так мы укажем всем поисковым роботам, чтобы они не индексировали страницы index и password на нашем сайте

User-agent: *  Disallow: /index  Disallow: /password

Когда вы пропишите данную команду, нужно будет ждать следующей индексации. Вам стоит знать, что все изменения в файле robots несут для поисковиков рекомендательный характер, поэтому не удивляйтесь, если объект по-прежнему останется в индексе, но с пометкой о скрытии через robots.txt. Но если через определенный промежуток времени статус документа не изменится, он все же будет удален из базы данных поисковых систем.

Мета-тег Robots

Если не вдаваться в подробности, то этот способ аналогичен вышеуказанному, вот только все команды прописываются в html-коде сайта внутри тегов head:

<meta name =“robots” content=”noindex,nofollow” />

Все изменения также будут произведены после индексации. Преимущество использования мета-тега robots заключается в том, что посредством него из поиска можно удалить множество URL без необходимости изменения самого файла robots. Данный способ идеально подходит для начинающих сайтостроителей, которые постепенно создают новые страницы.

Также это отличный вариант тогда, когда вам нужно закрыть страницу от индекса Яндекса, но при этом оставить ее доступной в Google. Или же когда вы хотите удалить объект из поиска, но оставить информацию доступной на самом сайте.

Пример закрытия URL только для Яндекса:

<meta name=”yandex” content=”noindex,nofollow”>

Заключение

Если у вас вдруг появилась необходимость удалить отдельную страницу своего сайта из поискового индекса, вы с легкостью можете воспользоваться всеми указанными в данной статье методами. Выбирайте тот, который для вас более удобный, но при этом учитывайте характерные особенности каждого из них. Вообще, если вы хотите закрыть документ в максимально кратчайшие сроки, используйте сразу несколько вариантов.

webmasterie.ru

Как удалить из поиска ненужные страницы?

Для начала разберем как сайт попадает в поиск.

Допустим, вы создали свой сайт, заполнили его контентом и сделали некоторую оптимизацию. Вы ждете, когда придет робот поисковика и просканирует ваш сайт. Сканирование сайта подразумевает, что робот посмотрит ваш сайт и запомнит про что он, грубо говоря. После того как сайт просканирован, он попадает в индекс. Иными словами, просканированный сайт попадает в выдачу поисковиков.

Для управления индексацей страниц вашего сайта, вам необходимо соблюсти обязательные условия:

1. Вы зарегистрировали сайт в Яндекс.Вебмастер и имеете доступ к панели вебмастера;
2. На сайте есть файл robot.txt.

Заходим в Яндекс.Вебмастер. Для этого нужно ввести в поиске Яндекс Вебмастер или перейти по прямой ссылке.

Выбираем вкладку «Мои сайты». Если у вас он не один, отобразиться список ваших сайтов, тут выбираем сайт, который хотите удалить из поиска

В слайдбаре, который находится справа, находим ссылку «Удалить URL».

Переходим по этой ссылке и оказываемся на странице «Удалить URL».

Вводим в форме ссылку на страницу и нажимаем «удалить». Яндекс думает, что вы знаете точный адрес страницы, которую хотите удалить. Предполагается, что произойдет удаление введенной вами страницы и все. Но это срабатывает далеко не всегда. Чаще всего это происходит из-за того, что url введенный в форме не соответствует адресу страницы, которую вы хотите удалить из поиска Яндекса.

Как узнать точный URL страницы?

Для того чтобы узнать адреса всех проиндексированных страниц сайта в Яндексе есть специальная команда «host». В строке поиска нужно написать «host:site.ru». Site – здесь пишем адрес вашего сайта. После выполнения данной команды выводится список всех проиндексированных страниц введенного сайта.

А что если страниц в выдаче больше, чем есть на сайте?

Если в выдаче страниц больше, чем у вас на сайте, значит, некоторые страницы имеют дубли – это одна из самых распространенных причин. Для удаления таких страниц есть два решения:

• Закрыть в robots.txt и Яндекс со временем сам удалит ненужные страницы из поиска. Но это может затянуться надолго.
• Удалить дубли вручную.

Для того чтобы удалить страницу из поиска Яндекса вручную:

1. Заходим на страницу (дубль).
2. Копируем ее адрес.
3. Заходим в Яндекс Вебмастер.
4. Нажимаем на «Мои сайты».
5. Выбираем нужный сайт.

Нажимаем в слайдбаре «Удалить URL » и вставляем в форму адрес дубля страницы.

Возможно, вы увидите такое сообщение:

Как быть в таком случае? Данное сообщение сигнализирует о том, что страница не закрыта от индексации в robots.txt или нет параметра noindex. Закрываем ее и пробуем еще раз. Если все сделано правильно вы увидите такое сообщение.

«URL добавлен в очередь на удаление». Сколько времени займет удаление трудно сказать, зависеть это может как от количества страниц на сайте, так и от самого Яндекса.

semantica.in

И снова здравствуйте, уважаемые читатели и гости блога. Пожалуюсь: Пока работала над статьей по контекстной рекламе, решила параллельно проверить блог на наличие комментариев… И вот, каково же было мое удивление, когда увидела, что Яндекс по какой то причине выкинул страницу из индекса. Анализ данных Яндекс Вебмастера показал, что по сайту несколько страниц почему то вылетели из индекса и занимают почетные 100+ места в поисковой выдаче по ключевым словам.

Приятного мало, но надо не печалиться, а разбираться, почему же друг Яша так не милостиво отнесся к уникальному контенту.
Пройдясь по возможным ошибкам в разделе «настройки индексации», явных ошибок я не выявила и решила воспроизвести последовательно все свои действия с момента публикации статьи на блоге.

Все вроде стандартно — написала статью, добавила текст в сервис Яндекса «Уникальный текст», опубликовала статью…
А дальше, где то часика полтора — два спустя, добавила url в Яндекс аддурилку.

Кстати, если вас интересует, [info_bg pre_bg_color=»red» pre_text_color=»white» width=»100%» text_align=»left» hex_bg_color=»» hex_text_color=»»]как защитить личные данные в системе яндекс читайте данную статью[/info_bg].

Зря я это сделала. Сколько раз говорила себе: «Поспешишь – людей насмешишь». Надо перед использования сервиса, почитать об этом сервисе более досконально. Яндекс, после оптимизации поисковых механизмов и алгоритмов в 2010 году, стал очень капризным на добавление отдельных страниц в свою addurl.

Вы публикуете свою статью, яндекс ее индексирует, а после добавления данной страницы в аддурилку, сбрасывает индекс и отдает адрес на разработку роботом. То есть в моем случае, робот благополучно прогулялся по сайту в момент моего недосмотра, и поставил страницу в очередь на переиндексацию. А так как индексовый апдейт, в последнее время, происходит чуть ли не раз в неделю, мне, по видимому, придется подождать, пока очередь из 100500 урлов передо мною уменьшится, и яндекс изволит посетить мою страничку.
Краткий вывод – в аддурилку, при cоздании сайтов как и написано в ЧаВо, нужно добавлять только главную страницу, остальные яндекс найдет сам. А постоянно перекидывая урл в этот сервис, мы получим постоянно мигрирующий индекс.

• Как закрыть арестованный счёт в сбербанке;

www.markint.ru

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс.

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1. Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через Google Webmaster Tools и Яндекс Вебмастер.

Удаление страниц из поиска Google

Заходим в:

— индекс Google

— удалить URL адреса

Далее нажимаем «создать новый запрос на удаление» и добавляем в него нужный адрес URL, который удаляем.

После чего отправляем запрос на удаление страницы.

Далее URL страницы вноситься в список удаляемых, и переходит в статус ожидания.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Переходим по ссылке: http://webmaster.yandex.ua/delurl.xml

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

2. Robots.txt

Файл robots.txt очень нужный инструмент, если дело идет к разрешению или запрещению индексации сайта от поисковых ботов.

Для того, чтобы удалить конкретные страницы с помощью robots.txt, то в сам файл дописываем такое:

За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

User-Agent: *

Disallow: /razdel

Закрытие страницы:

User-Agent: *

Disallow: /stranica1.html

Закрытие страниц поиска:

User-Agent: *

Disallow: /seoprofy.ua/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3. 404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

— 301 редирект

— мета тег robots

— X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Статьи которые дополняют:

— 5 способов удалить страницу из поиска Яндекса или Google

— Как использовать robots.txt рекомендации Яндекса

— Окончательное удаление страницы из индекса Google

А какие способы вы еще знаете, чтобы быстро удалить страницы из поиска?

seoprofy.ua

Как узнать, есть ли ненужные страницы («сопли») в индексе?

к оглавлению ↑

Ручной режим

Открываем Google и вбиваем туда фразу site:wpnew.ru, где вместо wpnew.ru Вы, конечно, вбиваете свой адрес сайта:

Вообще, чтобы не держать в голове все эти разные операторы разных поисковых систем, я предпочитаю пользоваться RDS bar. Заходим на наш сайт, нажимаем на кнопку «Анализ сайта»:

И там вы увидите, сколько страниц в индексе Яндекса и в Google:

В идеале эти цифры должны быть очень похожими, практически одинаковыми. То есть тут должны примерно те цифры, которые равняются количеству постов на Вашем блоге. Если это интернет-магазин, то посложнее, так как часто бывает необходимость засовывать страницы с фильтрами или др. параметрами в индекс. И Яндекс, и Google «кушают» их по-разному.

В скобках на скриншоте выше вы видите значение «99%» — это показатель того, какой процент находится в ОСНОВНОМ индексе Google. Есть также страницы в дополнительном индексе, в моем случае это 1%. Такие страницы не участвуют в поиске.

В идеале процент основного индекса должен быть равным 100% или стремиться к этому числу. Если у вас этот процент маленький и очень много страниц в дополнительном индексе, не стоит паниковать, рвать и метать, как любят делать это некоторые. Спокойно сделайте действия описанные ниже.

В RDS Bar нажимаем непосредственно на саму цифру:

И открывается Google со страницами, которые в индексе:

Здесь переходим на последние страницы, тыкая на последние предлагаемые страницы:

Если страниц в индексе довольно много, так можно потерять кучу времени, листая страницы в индексе. Поэтому смотрим на URL, который меняется при переходе на другие страницы, там можно увидеть значение start:

И можно заметить следующую последовательность: если мы находимся на 14-ой странице, там отображается цифра 130, если на 15, то цифра 140 и т.д. То есть данное значение будет принимать цифру по этой формуле:

Значение start=№ страницы*10-10

Если нам нужно попасть на 100 страницу, нам нужно в адресную строку после start ввести 990.

Не боимся, вбиваем цифру ту же самую 990, к примеру:

И вы попадете на последние страницы в индексе Google (если это не конец, введите большее число), и там увидите фразу:

По умолчанию вы видите только страницы в индексе, которые располагаются в основном индексе (то есть те страницы, которые несут информативную ценность по мнению Google). Чтобы увидеть, все страницы вместе с дополнительным индексом, кликните по фразе «repeat the search with the omitted results included».

Теперь вас снова должно отбросить на первую страницу. Повторяем шаг выше, чтобы попасть на последние страницы в индексе:

Если посмотреть чуть выше, вы увидите, что страниц было 54, сейчас стало 59. То есть 5 страниц выдачи — это дополнительный индекс Google и данные страницы не несут никакой информационной пользы по мнению Google (чаще всего это дубли страниц, служебные или еще что-то).

Таких страниц может быть просто куча. В одно время у меня было в мусоре более 15 000 страниц. 🙂

к оглавлению ↑

Автоматический режим

Совсем недавно (после написания этой статьи) я написал новый урок про то, как можно автоматически найти ненужные страницы в индексе с помощью программы ComparseR.

к оглавлению ↑

Как удалить ненужные страницы с индекса Google

к оглавлению ↑

Подстраницы, архивы, метки и пр.

1. Я настоятельно рекомендую поставить себе плагин WordPress SEO. Про это говорил уже не раз. Это лучший SEO плагин для Вордпресс. В нем переходим во вкладку «SEO» -> «Заголовки и метаданные».
   
2. Переходим во вкладку «Таксономии», там в разделе «Метки» ставим галочку напротив «noindex, follow», чтобы исключить из индекса страницы с метками (это, конечно, если вы не продвигаете сайт с помощью меток, как я писал):
   
3. Потом переходите во вкладку «Архивы», там ставите галочку напротив «Add noindex, follow to the author archives» и «Add noindex, follow to the date-based archives»:
   
4. Дальше переходите во вкладку «Остальное» и ставите галочку «Noindex для подстраниц и архивов»:
   
5. Нажимаем «Сохранить изменения».

к оглавлению ↑

Как удалить Replytocom из индекса

Если у вас на сайте древовидные комментарии, в индексе также могут быть страницы с replytocom. Вообще, у меня вместе с ними было 17 000 страниц в индексе, удалив их из индекса на данный момент в Google пока осталось около 2000 страниц. Удалялись долго, почти год. То есть ненужные страницы выпадали по-тихоньку из индекса.

Подобные страницы очень легко удалить с помощью того же самого плагина WordPress SEO by Yoast.

1. Переходим во вкладку SEO -> Расширенный:
   
2. Переходим во вкладку «Постоянные ссылки», там ставим галочку напротив «Удалить переменные ?replytocom»:
   
3. Сохраняем изменения и наслаждаемся, как Google начнет сам исключать из индекса подобные страницы.

к оглавлению ↑

Страницы с feed

На некоторых сайтах вообще не нужен RSS. Там есть смысл в его отключении. С помощью RSS может попасть всякий шлак в индекс, подобие этого:

Открываем файл functions.php и туда вставляем вот этот код (вставляем перед закрывающим ?>):

// Отключаем RSS ленту  function fb_disable_feed() {  wp_redirect(get_option('siteurl'));exit;  }    add_action('do_feed', 'fb_disable_feed', 1);  add_action('do_feed_rdf', 'fb_disable_feed', 1);  add_action('do_feed_rss', 'fb_disable_feed', 1);  add_action('do_feed_rss2', 'fb_disable_feed', 1);  add_action('do_feed_atom', 'fb_disable_feed', 1);    remove_action( 'wp_head', 'feed_links_extra', 3 );  remove_action( 'wp_head', 'feed_links', 2 );  remove_action( 'wp_head', 'rsd_link' );

Теперь, если мы увидим страницы вида site.ru/stranica.html/blabla/feed и перейдем на нее, нас перебросит на главную страницу сайта. И Google вскоре исключит подобные страницы из индекса.

Также можно сделать, чтобы перебрасывало не на главную страницу, а на какую-нибудь выбранную (страницу подписки, допустим). Для этого в коде вместо:

wp_redirect(get_option('siteurl'));exit;

вставляем:

wp_redirect('http://site.ru/podpiska');exit;

где http://site.ru/podpiska — любая страница, которую вы пропишите.

к оглавлению ↑

Как удалить сайт из индекса

Бывает необходимость в том, что сайт молодой и нужно поставить запрет на индексацию до того времени, пока не удалятся «стандартные посты», которые не уникальны, не поменяется шаблон на новый и не добавится десяток страниц по теме. Все это, обычно делается для того, чтобы поисковые системы «скушали» сайт и понимали какая тематика его, направление, структура и пр. с самого начала.

Чтобы исключить весь сайт из индекса, добавьте в header.php до закрывающегося head вот этот код:

<meta name="robots" content="none"/>

Это подойдет, если нужно скрыть определенную html страницу тоже. Например, у вас сверстан какой-либо лэндинг на отдельной html странице, отдельно от Вашего шаблона и вам не нужно, чтобы он попал в индекс.

к оглавлению ↑

Как ускорить удаление страниц из индекса поисковых систем

Сделанные выше манипуляции исключат появление ненужных страниц в будущем. Старые тоже будут сами «отваливаться» с индекса, но не так быстро, как хотелось бы, если кто-то хочет ускорить процесс и ненужных страниц в дополнительном индексе не так много, то можно поработать немного ручками.

к оглавлению ↑

Google

1. Заходим в панель инструментов Google. Там переходим на наш сайт, вкладка «Индекс Google» -> «Статус индексирования»:
   
2. Здесь можно увидеть, как ненужные страницы выпадают из индекса. То есть общее количество страниц в индексе регулярно уменьшается. Чтобы ускорить процесс удаления страниц из индекса, просто переходим во вкладку «Удалить URL-адреса»:
   
3. Там нажимаем на кнопку «Создать новый запрос на удаление»:
   Обратите внимание, в robots.txt обязательно должно быть прописано правило, которое запрещает индексировать данное содержимое. То есть то, если вы хотите что-то удалить, URL должен стоять под запретом в robots.txt, иначе страница не удалится из индекса.
4. Например, у меня в индексе была страница wpnew.ru/category/lichnoe/page/5, ее вставляю в поле и нажимаю «Продолжить»:
   
5. В следующем окне, можно выбрать между: удаление только 1 страницы или целого каталога:
   
6. Если требуется удалить только страницу, выбираем «Удалить страницу из результатов поиска и из кеша» и нажимаем «Отправить запрос». Вы увидите подобное уведомление:
   
7. Повторюсь, должно быть прописано правило в robots.txt, который запрещает индексировать данную страницу. В моем случае это вот это правило:
   
8. Также вы можете удалить сразу каталог ненужных страниц из индекса. Для этого вставляем не конкретный URL, а к примеру что-то подобное со «звездочкой»:
   
9. Тем самым, удалится целая рубрика и то, что в ней содержится. Обычно страницы пропадают из индекса в течении 1-х суток. Сроки могут достигать и до 1-ой недели.

к оглавлению ↑

Яндекс

В Яндексе принцип такой же. Заходим в «Удалить URL» и там вбиваем URL ненужной страницы, которая попала в индекс Яндекса:

Чтобы страница удалилась из индекса, необходимо, чтобы страница была удалена физически (то есть отдавала 404 ошибку, к примеру), либо также была запрещена к индексации с помощью robots.txt или другими способами. Яндекс также удалит страницу из индекса, правда у нее это происходит обычно дольше, чем с Google.

к оглавлению ↑

С помощью программы ComparseR

Все эти «ускорения» по удалению страниц с индекса можно сделать с помощью великолепной программы ComparseR и не нужно будет сидеть и забивать по одному URL в панели вебмастеров. Программа может позволить удалить ненужные страницы за 1-2 минуты. Очень удобно.

к оглавлению ↑

Вывод

В этом уроке я продемонстрировал то, как удалить «мусорные» страницы из индекса, их еще называют «сопли». Их удаляться рекомендуется, но не стоит делать целую драму из этого. А то я помню, как многие истерили по поводу replytocom, мол это какая-то ну ОЧЕНЬ серьезная проблема, грубейшая ошибка в SEO. Я бы это так не назвал, это слишком сильное преувеличение. Просто стремитесь к чистоте поиска, чтобы у Вас на сайте было все пушисто и гладко.

Спасибо за внимание, до скорой встречи! Будут вопросы — с радостью отвечу в комментариях. Пока!

P.s. Нужно продвинуть сайт? Компания Pro Studio — продвижение сайта от профессионалов.

wpnew.ru

Подробности

Категория: Для сайта

Опубликовано 27.08.2012 19:57

Иногда по некоторым причинам, необходимо удалить страницы, которые были ранее проиндексированы в поисковой системе. Существует несколько способов.

1. Запретить дальнейшую индексацию страницы.

Можно в файле robots.txt запретить дальнейшую индексацию страницы с помощью следующей строки:

Dis : ваша_страница

Например:

Disallow: /shops/mylikes.html

Данная строка запрещает поисковым системам индексировать страницу mylikes.html находящейся в катологе (папке) shop.

Если же вы хотите полностью запретить индаксацию сайта, а не лишь отдельных его страниц добавьте в robots.txt следующее:

Disallow: /

Данный метод позволит запретить поисковым системам сканирование ваших сайтов. Однако в чём минус такой системы — все страницы которые были убраны из индексации на момент добавления соответствующих строк в robots.txt, будут храниться в кэше поисковой системы и так же выводиться в результатах поиска.

2. Удаление страниц сайта из кэша Яндекс и Google.

2.1. Яндекс

Для того чтобы полностью убрать страницы вашего сайта и из индексации и запретить поиск, необходимо для начала удалить ( что бы URL вашей страницы отсылал 404 ) или запретить необходимые страницы в robots.txt. Затем перейти по ссылке http://webmaster.yandex.ru/delurl.xml, где в соответствующей форме введите путь до страницы и Яндекс удалит вашу страницу из результатов поиска, а соответственно и из кэша.

Например если вы хотите удалить из результатов поиска всю туже страницу mylikes.html введите:

http://ваш.сайт/shops/mylikes.html

После этого страница mylikes.html, будет добавлена в очередь на удаление и через несколько дней уйдёт из кэша Яндекса. Таким же образом можно удалить из кэша весь сайт, для этого введите в форму:

http://ваш.сайт/

2.2. Google

Для того чтобы убрать страницы из поиска Google необходимо:

1. Зайти в панель веб-мастера Google.

2. В список добавленных вами сайтов выбрать тот, страницы которого вы хотите удалить из поиска.

3. Слева, во вкладке «Оптимизация» выбрать «Удалить URL-адреса«.

4. Нажмите «Создать новый запрос на удаление«, после чего в окрывшемся окошке введите с учётом регистра путь до страницы.

Будьте внимательны! Указывайте путь в относительном виде. Т.е. Если вы хотите удалить страницу http://ваш.сайт/shops/mylikes.html, введите в форму только /shops/mylikes.html !!!

Если вы хотите удалить весь сайт из результатов поиска, введите в форму /. С помошью одного этого знака вы сделаете запрос на удаление всего сайта.

5. Ожидайте, в ближайшее время ваши страницы уйдут из поиска.

youon.ru