Программа Xenu

Доброго времени суток! На прошлой неделе вернулась из деревни, где провела незабываемое время полного релакса! Погода выстояла отличная, дни напролет мы проводили в реках, озерах, лесах, полях. Свежий воздух и ни души вокруг — вот это настоящий отдых!

Продолжаем изучать тему оптимизации блога на WordPress. Ранее мы детально рассмотрели вопрос проверки сайта на дубли страниц и битые ссылки вручную и с помощью плагина. Сегодня мы подробно остановимся на 2х десктопных программах, выполняющих эти задачи автоматически, разберем их основные настройки и параметры технического аудита. Это — Xenu’s Link Sleuth и Netpeak Spider, бесплатные инструменты для seo-анализа блога.

Содержание:

• Проверка битых ссылок с помощью Xenu.
• Использование Netpeak Spider: подробная инструкция.

Как пользоваться программой Xenu.

Работать с этой программой не сложно, а в результате получается подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Помимо своего основного предназначения, проверки битых ссылок, Xenu может выполнять и другие задачи:

• составление карты сайта;
• определение времени загрузки страниц;
• поиск неуникальных тайтлов;
• выявление страниц со значительным уровнем вложенности;
• определение количества внешних и внутренних ссылок на сайте;
• выявление картинок без атрибута alt.

Обозначенные моменты весьма немаловажны для развития ресурса. Решение данных задач послужит для оптимизации вашего вордпресс-блога. Поэтому предлагаю вам внимательно изучить инструкцию по работе с Xenu Link Sleuth. Начнем.

Данное приложение является бесплатным. Скачать программу Xenu можно по ссылке: xenus-link-sleuth.en.softonic.com.

Разархивируем файл и запускаем Setup.exe. После установки программы можно приступать к настройке её основных параметров. Следует отметить, что Xenu написана для Windows и не работает с другими операционными системами.

Интерфейс приложения англоязычный, но он лаконичен и достаточно прост. Чтобы создать новую проверку, нужно кликнуть по первой пиктограмме в левом верхнем углу окна программы или пройти по пути «File» — «Check URL». В результате откроется окно «Xenu’s starting point» с базовыми настройками:

Вверху вписываем адрес инспектируемого ресурса. Если вы хотите включить в проверку ссылки на внешние ресурсы, следует оставить галочку возле пункта «Check external links». Кнопка «Local file» предназначена для выбора файла на вашем компьютере, если вы хотите проанализировать таковой.

В поле «Consider URLs beginning with this as ‘internal’:» вы можете добавить такие страницы, которые относятся непосредственно к проверяемому сайту, но имеют отличный от главной страницы адрес. Например, https://forum.ВашСайт.ru.

В поле же «Do not check any URLs beginning with this:» можно перечислить те линки, которые вы хотите исключить из проверки программой Xenu.

В нижней части расположена кнопка «e- mail». Она потребуется вам в том случае, если вы захотите получить отчет о проделанном анализе блога на свой e-mail с помощью SMTP-Server:

«e- mail report and quit when done» — выберите этот пункт, если хотите получить весь отчет сразу по завершению работы приложения;

«e- mail only if there are broken links» — при выборе этого варианта отчет придёт, если будут найдены битые ссылки.

Помимо этого, в Xenu предусмотрено большое количество дополнительных настроек. Их можно вызвать, кликнув по кнопке «More options».

Перед нами открывается вкладка «Basic Options». Первый параметр — «Parallel Threads». Он регулирует количество параллельных синхронных запросов. Другими словами, какое число ссылок будет проверяться одновременно. Рекомендуется не превышать значение по умолчанию, чтобы не перегружать сервер и не влиять на корректность проводимого аудита. Пункт «Maximum Depth» устанавливает максимальную глубину вложенности страниц, на которой будет проводиться работа программы Xenu. Здесь тоже можно оставить дефолтное значение. Если поле «Treat redirections as error» отметить галочкой, редиректы будут рассматриваться приложением как ошибка.

Справа расположен блок чекбоксов «Report». Он служит для того, чтобы настроить вывод отчета после сканирования сайта. Выберите те параметры, показатели которых вы хотите видеть в итоге:

«Broken links, ordered by links» — битые ссылки, сгруппированные по URL-адресам;

«Broken links, ordered by page» — аналогично, битые ссылки, но сгруппированные по страницам;

«Broken local links» — внутренние битые ссылки;

«Redirected URLs» — адреса с 301-ым и 302-ым редиректами;

«Ftp and gopher URLs» — URL с протоколами, отличными от http;

«Valid text URLs» — не битые (рабочие) ссылки;

«Site Map», «Statistics» — добавить в отчет карту сайта, статистику;

«Orphan files» — файлы-одиночки, т.е. те, на которые ссылок нет.

Если мы хотим применять данные настройки для всех проектов, нужно отметить галочкой поле «Apply to all jobs».

Сделав настройки Xenu, жмем «ОК». Программа начинает аудит сайта. Она проходит по всему блогу и определяет наличие ссылок. Если возникает необходимость приостановить работу приложения, на панели вверху есть кнопки «Pause» (приостановить), «Stop» (прервать), «Continue» (продолжить). Сколько будет длиться анализ ресурса, зависит от количества страниц, одновременных потоков, скорости соединения и загруженности сервера. По завершению работы, появляется диалоговое окно, сообщающее об этом и предлагающее вывести отчет.

Если соглашаемся, Xenu формирует htm-документ с результатами проделанного анализа в режиме реального времени.

Теперь разберем, как можно пользоваться данными, полученными с помощью Xenu Link Sleuth, в самой программе. Результаты seo-анализа сайта расположены в нескольких столбцах. «Address» содержит список всех найденных URL. Для того, чтобы получить более детальную информацию о какой-то конкретной ссылке, кликаем по ней правой кнопкой мыши, в появившемся контекстном меню выбираем пункт «URL properties». Открывается окно, в котором отображены следующие характеристики линка:

• «Page URL» — страница, на которую ведет ссылка;
• «Title or link text» — атрибут title или анкор ссылки в материале нашего блога;
• «1 page linking to this one» — URL страницы, где находится ссылка.

Далее идет столбец «Status», где указаны статусы всех ссылок. Если мы хотим отфильтровать битые ссылки, достаточно просто кликнуть по названию колонки. Нерабочие ссылки, выделенные красным цветом, будут сгруппированы программой Xenu в верхней части страницы.

Битые ссылки могут иметь такие статусы:

• not found — ссылка не найдена;
• no such host – данный URL не существует;
• no connection – сервер не отвечает. В данном случае следует уменьшить количество одновременных потоков в настройках и повторить проверку.

Закладка «Type» позволяет сортировать файлы по типу расширения: картинки, html/css-файлы и т.д.

Во вкладке «Size» собрана информация о весе файлов в Кб. Этими данными можно воспользоваться, чтобы найти и сжать самые тяжелые изображения на блоге.

В колонке «Title» можно отсортировать результаты по одноименному мета-тегу title. Это дает возможность найти дубли страниц по визуальному совпадению заголовков.

Также приложение предоставляет информацию по таким параметрам:

«Date» — дата появления ссылки;

«Level» — глубина вложенности страницы, на которой находится URL;

«Out Links» — количество исходящих ссылок на конкретной странице;

«In Links» — входящие ссылки, ведущие на определенную страницу.

Воспользовавшись инструкцией по работе с Xenu Link Sleuth и проанализировав результаты seo-анализа, вы с легкостью сможете устранить все битые ссылки и большинство дублей на вашем блоге.

pro-wordpress.ru

Всем привет! Сегодня я буду проверять свой блог SEO-Mayak.com на битые ссылки.

Многие веб-мастера для этих целей используют плагин WP Broken Link Checker, да и Ваш покорный слуга, до недавнего времени пользовался данным плагином.

Но время бежит и все меняется, а мы растем и развиваемся. Наткнувшись на программу Xenu Links я забыл про плагин раз и навсегда, так как эта программа умеет не только искать битые ссылки, но также проводит внутренний технический аудит сайта.

Что включает в себя технический аудит? Не спешим! Я все разложу по полочкам, а Вам только нужно дочитать статью до конца.

Начну с того, что как и обещал, я собирался писать статью про ручную внутреннею перелинковку. Но в процессе понял, что перед обзором столь важной и обширной темы, необходимо рассказать о битых ссылках, которые могут свети на нет все усилия по распределению статического веса между страницами.

Давайте поближе познакомимся с программой Xenu Links.

Где скачать и как работать с программой Xenu Links

Программа совершенно бесплатная и чтобы скачать ее с сайта разработчика надо перейти по этой ссылке.

Нажимаем на строчку «Download» и нас перебросит на другую страницу:

Плюс — это полная совместимость со всеми версиями Windows, минус — англоязычный интерфейс.

С установкой я думаю сложностей возникнуть не должно, поэтому переходим сразу к запуску программы.

Запускаем Xenu Links и на откроется пустое окно:

Открываем меню настроек с помощью действий, показанных на сткриншотах или простым нажатием клавиш Ctrl+N:

Вписываем URL проверяемого сайта. Если оставить галочку возле пункта Check extemal links, то программа проверить все исходящие ссылки. Если снять галочку — программа проверит только внутренние URL.

Local file — позволяет открыть для проверки файлы, расположенные на Вашем компьютере.

Consider URLs beginning with this as ‘internal’: — добавить URL к списку проверяемых, которые будут считаться внутренними. Например:

Do not check any URLs beginning with this: — исключить URL из списка проверяемых.

e-mail… — возможность отправить отчет на E-mail используя SMTP-Server.

e-mail report and quit when done — отправлять отчет по почте сразу после окончания проверки.

e-mail only if there are broken links — отправлять отчет только в том случае, если обнаружены битые ссылки.

1. Parallel Threads — параллельные потоки. Количество одновременно проверяемых ссылок. По умолчанию стоит 30 потоков, больше ставить не стоит, чтобы не нагружать сервер, да и отчет может быть некорректным.

Maximum depth — глубина просмотра. Имеется ввиду максимальная глубина вложенности страниц, на которую будет распространятся проверка. Цифра 999 конкретный перебор, можно нечего не менять.

2. Ask for password or certificate when needed — запрашивать разрешение на проверку защищенных страниц. Речь идет о протоколе https://.

Treat redirections as errors — считать редиректы ошибкой. Галочку лучше не ставить!

3. Broken links, ordered by links — сортировка битых ссылок по URL адресам.

Broken links, ordered by page — упорядочивание битых ссылок по страницам.

Broken local links — искать внутренние битые ссылки.

Redirected URL’s — искать редиректы (301/302).

FTP and gopher URL’s — искать не http адреса.

Valid text URL’s — определять действительные (не битые) URL адреса.

Site map — отобразить в отчете карту сайта.

Statistics — отображать статистику.

Orphan files — искать файлы-одиночки (файлы на которые нет ссылок).

Ставим галочки, где считаем нужным, жмем ОК и программа начнет проверку ссылок исходя из заданных параметров.

Находим битые ссылки и проводим технический аудит сайта. Возможности Xenu Links.

Технический аудит сайта может занять несколько минут. Все будет зависть от заданного количества потоков, скорости интернет соединения, загруженности сервера и количества проверяемых страниц.

В первую очередь нас интересую битые (нерабочие) ссылки, выделенные красным цветом.

Для того чтобы сгруппировать все битые ссылки в самом начале отчета, а не искать их среди прочих, нажимаем мышкой на табулятор Status:

Вот какие битые ссылки я нашел на своем блоге, аж 14 штук. Немного разъясню что означают разные статусы:

forbidden request — запрещенный запрос. В одной из своих статей я сослался на Википедию и вроде сделал все правильно. Скопировал URL нужной мне страницы с адресной сроки браузера и вставил в ссылку, но не обратил внимание на регистр.

Чтобы посмотреть в какой записи находится битая ссылка, выделяем строчку и нажатием правой кнопки мыши вызываем меню:

Выбираем URL properties и нам откроется вот такое окошко:

На скриншоте видно как выглядит битая ссылка, кстати она вполне рабочая, только вот заглавные буквы в URL недопустимы!

no connection — нет связи с сервером. Надо уменьшит количество потоков и повторить проверку.

no such host — такого URL адреса не существует.

not found — URL не найден.

Идем дальше. Табулятор Type позволяет сгруппировать файлы с одинаковым расширением:

Size — возможность отсортировать ссылки страницы или файлы по их весу:

Имеется в виду вес в Кб. Например, можно определить самые тяжелые изображения на сайте, которые существенно снижают загрузку страниц и сжать их. Кто не умеет сжимать изображения, советую почитать статью Оптимизация изображений.

Title — группирует ссылки по одноименному мета тегу:

Позволяет легко выявить дубли контента, а также определить страницы не имеющие заголовка Title. Но есть существенный недостаток, некоторые заголовки отображаются в виде кракозябр.

Date — отображает дату и время появления той или иной ссылки.

Level — позволяет определить степень вложенности страницы, на которой расположена ссылка.

Qut Links — показывает количество исходящих ссылок, расположенных на определенной странице.

In Links — Количество входящих ссылок, ведущих на определенную страницу.

Отчет Xenu Links позволяет найти не только битые ссылки, но и множество разных ошибок и на мой взгляд технический аудит сайта с помощью Xenu Links просто находка для любого веб мастера.

Если возникнут вопросы по теме, постараюсь всем ответить в комментариях.

На сегодня у меня все. Как Вам статья?

С уважением, Виталий Кириллов

seo-mayak.com

На каждом сайте могут появляться так называемые «битые ссылки» (англ. «broken links»), которые ведут на несуществующие веб-страницы как на этом сайте, так и на других сайтах в Интернете.

В каких случаях появляются такие ссылки?

«Битая» или «мертвая ссылка» может появиться после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как «внутренними» (ведущими на несуществующие страницы этого же сайта), так и «внешними» (ведущими на несуществующие страницы другого сайта). И в том и в другом случае, задача вебмастера — найти и исправить такие ссылки, чтобы не вводить в заблуждение посетителей.

Как же можно найти «битые ссылки»?

Если на сайте немного страниц и на каждой находится не более 2-3 ссылок, их можно периодически проверять вручную. Но если на сайте сотни страниц, на каждой из которых имеются с десяток ссылок, такая проверка может превратиться в проблему. В этом случае ппоиск битых ссылок лучше это делать специальной программой. Об одной из таких программ с названием Xenu’s Link Sleuth я и хочу вам рассказать.

Программа позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки.

Преимущества программы:

• Программа бесплатна (freeware)
• Простой и удобный пользовательский интерфейс
• Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
• Простой формат отчета
• Размер исполняемого файла программы меньше 1Мб
• Возможность проверки защищенных сайтов по протоколу SSL («https://»)
• Определение и вывод редиректов (т.е. пересылок на другие страницы)
• Возможно формирование карты проверяемого сайта

Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью , и под Mac с помощью .

Запуск программы

После клика на значке программы появляется ее главное меню.

Для проверки сайта нажимаем клавиши Ctrl+N или жмем на крайнюю слева кнопку «Check URL». Открывается окно, где мы указываем адрес сайта, который необходимо проверить на «битые ссылки». Если адрес сайта заканчивается названием каталога, не забудьте добавить в конце строки символ ‘/’ или будет проверен весь родительский каталог. Например:

Правильно:

Неправильно:

Настройки программы:

• Local file — выбрать для проверки сохраненную веб-страницу.
• Check external links — дополнительно к «внутренним» будут проверяться все «внешние» ссылки.
• Consider URL’s beginning with this as «internal» — добавить список ссылок, которые программа будет считать «внутренними». Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
• Do not check any URL’s beginning with this — добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
• More options — открыть окно с дополнительными настройками (см. ниже).

После зажатия на кнопку «OK» начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.

На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:

• серая — ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
• зеленая — ссылка доступна
• красная — найдена «мертвая» ссылка или ссылка временно недоступна.

Перемещаться по списку можно с помощью клавиш управления курсором (Вверх, Вниз, PageUp, PageDown) или находящейся справа полосы прокрутки.

Внизу окна в строке статуса выводится общее количество найденных и обработанных ссылок и время, прошедшее с начала проверки.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета:

Дополнительные настройки программы:

• Parallel Threads — число параллельно запрашиваемых страниц (рекомендуется 1 — 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
• Ask for password or certificate when needed — при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
• Treat redirections as errors — считать редиректы ошибками
• Report — информация, которую необходимо выводить в отчет (можно указывать пункты согласно рисунку)
  • Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки
  • Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы
  • Broken local links — показывать»битые» локальные ссылки
  • Redirected URLs — показыватьссылки с редиректами
  • Site Map — строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
  • Statistics — выводить в отчет различную статистическую информацию

Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы:

Если было задан вывод статистической информации, то добавляется соответствующий блок.

В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:

• ok — страница найдена;
• skip external — страница пропущена как «внешняя»;
• forbidden request — доступ к странице запрещен;
• not found — страница не найдена.

Полученный отчет можно сохранить для дальнейшей обработки в Excel.

www.polezno.com

Xenu Link Sleuth — бесплатное приложение для проверки веб-сайта на "битые" ссылки ("broken links"). Позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты.

"Битые" ссылки часто появляются после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как "внутренними" (ведущими на несуществующие страницы этого же сайта), так и "внешними" (ведущими на несуществующие страницы другого сайта). И задача данного приложения быстро обнаружить такие "мертвые" ссылки, чтобы исправить их.

Вы задает url, а программа выводит список проверенных ссылок с сортировкой по различным параметрам. Найденные ссылки выделяются определенным цветом:

• серая — ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками;
• зеленая — ссылка доступна;
• красная — найдена "мертвая" ссылка или ссылка временно недоступна.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета. Полученный отчет открывается в браузере и состоит из разделов, которые были заданы в настройках программы. Полученный отчет можно сохранить для дальнейшей обработки в Excel.

Особенности приложения:

• Простой и удобный пользовательский интерфейс.
• Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта).
• Проверка не только "внутренних", но "внешних" ссылок.
• Простой формат отчета.
• Возможность проверки защищенных сайтов по протоколу SSL ("https://").
• Определение и вывод редиректов (т.е. пересылок на другие страницы).
• Формирование карты проверяемого сайта.

Внимание! Для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer.

www.softportal.com

1.Предназначение, системные требования к программе. Скачивание и установка Xenu

Программа Xenu's Link Sleuth (сокращенно –Xenu) предназначена для поиска «битых» ссылок (т.е. которые ведут в никуда), изображений, фреймов и еще кое-чего, менее для нас значимого.

Кроме того, программа умеет проверять HTML – файлы на вашем комьютере и проверять файлы на локальном сервере (типа Денвер-3), надо только указать адрес локального сервера — http://127.0.0.1

И еще вебмастера ее приспособили для поиска дублей страниц, о чем подробно поговорим в одном из ближайших постов.

Преимущества программы Xenu's Link Sleuth:

• Полностью бесплатная:
• Имеет очень простой интерфейс (управление);
• Улучшенные отчеты об ошибках (а не просто – «ошибка связи»);
• Если требуется показ только «битых ссылок», то только они и будут показываться, а не все подряд;
• Программа разрабатывалась только одним человек, причем имеющим опыт в создании программного обеспечения с 1983г. Поэтому исключена даже малейшая несовместимость различных частей программы;
• Легкие в понимании отчеты, даже если вы используете длинные URL;
• Файлы программы занимают на жестком диске мало места;
• Многопоточная проверка (от 0 до 100 потоков) сокращает время проверки сайта;
• Проверка защищенных сайтов с помощью протокола SSL (адрес начинается с https://);
• Проверка редких FTP и Gopher сайтов;
• Определение и обработка URL с редиректом;
• Создает карту сайта.

Для работы программы требуется Windows 95/98/ME/NT/2000/XP/Vista/7. Она прекрасно работает и под Fedora 13, Red Hat 8, Ubuntu, OS X (требуется ), и под Mac (требуется ).

И еще: для вашего же спокойствия автор программы рекомендует использовать обновленные антивирусные программы (сам он всегда так делает).

Скачать программу можно с . Как всегда, на случай непредвиденных обстоятельств я закачал последнюю версию Xenu – 1.3.8 — на свой сервер. Оттуда тоже можно ее скачать.

Программа легкая, весит всего 743 КВ.

Установка программы никаких затруднений не вызывает: мастер установки работает прекрасно, надо только со всем соглашать и жать «Next».

2.Настройки программы

Для того, чтобы настроить программу, нам надо поработать в двух местах. Прежде всего, кликаем по вкладке «Options» и далее по «Preferences»:

Рис.1 (Все скриншоты кликабельны)

У нас появится окно, где надо сделать настройки:

Рис.2

Сначала нам надо установить количество потоков. По умолчанию стоит 30, но, полагаю, это число при первых проверках надо уменьшить до 3-5 (рекомендация автора), чтобы не создавать излишней нагрузки на линии связи и сайт. Автор программы, правда, пишет, что, хотя у него и DSL – соединение, его оператор, как он подозревает, препятствует увеличению нагрузки на сеть, чтобы заставить его перейти на более высокие тарифы. Ну, немецкие дела нас мало касаются (автор – из Германии), а вот у меня и при 5 потоках сервер хостинга начинает бастовать.

Поэтому начинать проверки следует осторожно и лишь постепенно увеличивая количество потоков.

Далее стоит окошко с установкой глубины просмотра. 999 так 999, пусть остается.

Флажок о необходимости запроса пароля или сертификата (при необходимости), тоже стоит оставить.

Перейдем к отчету (правая сторона окошка). Можете оставить те галочки, какие хотите, или вообще все, программа в любом случае скачает все ссылки, а эти настройки касаются только отчетов.

Но, на всякий случай, я приведу русское значение этих строчек:

• Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки;
• Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы;
• Broken local links – показывать локальные «битые» ссылки;
• Redirected URLs – показывать ссылки с редиректами;
• Site Map – создает sitemap для Google;
• Statistics — строит в отчете различные таблицы.

В конце нажимаем ОК.

Теперь нам надо кликнуть по вкладке «File» и в появившемся списке команд нажать на «Check URL» (Проверить URL):

Рис.3

Собственно, мы как бы уже начинаем процесс проверки, но предварительно нам предлагается ее настроить:

Рис.4

Прежде всего, нам надо указать URL сайта, который мы хотим проверить. Проверять можно не только сайт целиком, но и отдельные страницы и папки. Но если вы проверяете папки (каталоги), то адрес надо писать обязательно со слешем на конце, иначе программа не поймет и проверит весь сайт целиком.

Написано в этом случае должно быть так (разница в последнем слеше — косой черте):

www.novichkoff.ru/user/

а не так:

www.novichkoff.ru/user

Примечание. Впереди должно быть указано http:// . У меня не написано, потому что Google тогда эту строчку воспринимает как ссылку.

Если вы собираетесь проверить какой-то отдельный html- файл, то надо нажать кнопку «Local File» (верхняя правая стрелка) и в открывшемся окне найти этот файл в своем компьютере.

Очень важный чекбокс – «Check external links» (Проверять внешние ссылки), галочку оставляем.

Следующее окно предназначено для исключений – ссылку, начинающаяся каким-то определенным образом (надо указать каким именно образом), считать как внешнюю. Это если вы используете такие ссылки: например, с помощью редиректа переводите внешние ссылки в разряд внутренних.

В следующем окне необходимо указать URL сайтов, все ссылки на которые проверять не следует.

В обоих этих окнах, такие УРЛы надо вписывать по одному в верхнюю часть окна и нажимать «Add» (Добавить) и ссылка перейдет в нижнюю часть окна (на скриншоте рис.4 это видно). Программа запомнит эти настройки и не будет проверять ссылки, начинающиеся с указанных URL.

Можете в этих окнах вообще ничего не указывать.

Если вы забыли установить настройки в разделе «Options» (рис.2) или решили их изменить, то при нажатии кнопки «More options» (левая нижняя стрелка) попадете туда снова.

После всех настроек, нажимаете кнопку ОК – начинается процесс проверки ссылок.

3. Проверка ссылок и их предварительный анализ

Процесс проверки у всех будет занимать разное время – от нескольких десятков секунд до нескольких часов – в зависимости от размера сайта и количества параллельных потоков. После окончания проверки на главной странице программы появится окно:

Рис.5

Нам программа сообщает, что проверка ссылок закончена и нужен ли вам отчет о проверке? Нажимаем «Да», если нужен, и «Нет», если не нужен. В первый раз нажмите «Да», чтобы посмотреть — что это такое, а дальше уже сами решите – надо это вам или нет.

Начинаем просмотр ссылок. В зависимости от результатов проверки цвет шрифта ссылок будет разный:

• Зеленый – ссылка работает;
• Серый – ссылка находится в очереди на проверку или же она исключена из проверки в соответствии с вашими настройками;
• Красный – ссылка является «битой» или недоступна по тем или иным причинам (например, такое бывает, если сервер прервал допуск программы к сайту, это будет видно в графе Status – будет написано что-то вроде TIMEOUT).

Если проверка ссылок прервана по каким-то причинам, через некоторое время повторите проверку, причем программа проверять будет только непроверенные ссылки. Для этого надо кликнуть по вкладке «File», у вас появится другой список команд, не такой как раньше, и нажать на ссылку «Retry broken links»:

Рис.6

Начнется допроверка или перепроверка битых/ непроверенных ссылок.

Кстати, обратите внимание, что на рис.6 в правой части указаны комбинации «горячих клавиш».

И еще посмотрите на нижний правый угол программы – там отображается общее время проверки, общее количество ссылок на сайте, сколько из них проверено и количество потоков в работе.

Перед тем, как приступить в анализу конкретных «битых ссылок», удовлетворим свое любопытство и посмотрим, что за анализ нам предлагает программа.

4.Отчет о «битых» ссылках

После того, как во всплывающем окне мы нажмем «Да», в вашем браузере откроется новая вкладка с отчетом о проделанной работе:

Рис.7

Программа нашла у меня всего 2 битые ссылки и показывает данные о них для исправления:

• Верхняя строчка показывает URL ссылки, это облегчит ее поиск,
• Средняя строчка показывает тип ошибки – 404 или какая-то другая,
• Нижняя строчка показывает адрес страницы, на которой расположена «битая» ссылка.

В нижней части отчета идут таблицы:

Рис.8

Мне кажется, что эти данные лучше использовать при дальнейшей работе по совершенствованию всего сайта, а для работы по устранению «битых» ссылок они не очень годятся. Для работы с битыми ссылками лучше вернуться в программу.

5.Анализ «битых» ссылок

Прежде всего, нам надо найти ссылку, помеченную красным цветом, и кликнуть по ней. После этого нажать на кнопку «URL Properties» (верхняя стрелка):

Рис.9

Откроется окно с таким же названием. Мы видим, что у нас на сайте в шаблоне отсутствует картинки и что на эту картинку ссылается одна страница. В данном конкретном случае это не моя ошибка, а автора шаблона, но исправлять ее надо мне: сделать и закачать картинку под таким же названием.

Вот примерно таким образом вы и должны работать с каждой (!) «битой» ссылкой. Довольно часто придется писать другим вебмастерам, чтобы что-то поправили у себя на сайте, или редактировать шаблон, или исправлять адрес ссылки и т.д. Зато поисковики будут страшно довольны.

Маленькая подсказка: кликните по «битой» ссылке правой кнопкой мыши и в списке команд можете выбрать копирование ссылки.

Все это (поиск «красных» ссылок) можно сделать довольно легко, если у вас общее количество ссылок не очень большое. А если их много-много тысяч? Автор программы предусмотрел и это. В программе имеется возможность показа только «битых» ссылок. Для этого необходимо кликнуть по вкладке «View»:

Рис.10

В открывшемся списке команд щелкните по верхней строчке и программа покажет только «битые» ссылки:

Рис.11

Теперь вам работать будет проще. Работать с ними надо точно так же, как написано выше: кликаете по ссылке правой мышью… Рассмотрение самой программы мы закончили, теперь (справочно!) приведу типы различных ошибок, которые в отчете пишет программа, и их суть.

6. Какие бывают типы ошибок в отчете XENU

Error 404 (Not Found)

Ошибка 404 – та самая, из-за которой мы и ищем «битые» ссылки. Означает – «Страница не найдена». Их обязательно надо найти на страницах сайта и исправить.

403 Forbidden

Ошибка 403 – в доступе отказано. На такие ошибки большого внимания не обращайте. Они возникают из-за того, что сайт или отдельный файл потребовал что-то дополнительно, например, пароль.

12029 (No Connection)

Ошибка 12029 возникает при отсутствии соединения с сервером. Это не свидетельствует о вашей ошибке, беспокоится не стоит.

503 (Service Unavailable)

Ошибка 503 – Сервис недоступен. Связь с сервером имеется, но сервер не отвечает. Это не ваша ошибка.

12002 (Timeout)

Ошибка 12002 возникает из-за разных причин. Суть ее в том, что произошло прерывание соединения с сервером. В нашем случае – из-за большой нагрузки на сервер. Необходимо через некоторое время возобновить проверку.

12038 (SSL certificate common name incorrect)

Ошибка 12038 происходит из-за того, что имеется ошибка в сертификате безопасности SSL. Эта ошибка не является свидетельством того, что ссылка – «битая». Не обращайте внимания.

www.novichkoff.ru

Программа Xenu’s Link Sleuth позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки. Официальный сайт программы Xenu’s Link Sleuth.

Преимущества программы:

• Программа бесплатна (freeware)
• Простой и удобный пользовательский интерфейс
• Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
• Простой формат отчета
• Размер исполняемого файла программы меньше 1Мб
• Возможность проверки защищенных сайтов по протоколу SSL («https://»)
• Определение и вывод редиректов (т.е. пересылок на другие страницы)
• Возможно формирование карты проверяемого сайта.
• И многое другое.

Скачать бесплатно Xenu’s Link Sleuth

Скачать бесплатно Xenu’s Link Sleuth

Предлагаем последнюю официальную (стабильную) версию программы Xenu’s Link Sleuth (current version: 1.3.8 from September 4th, 2010) без вирусов и шелов. Программа запакована в WinRar архив, проверена на отсутствие вирусов.

Скачать бесплатно Xenu’s Link Sleuth

Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью wine, и под Mac с помощью Crossover.

Настройки программы Xenu’s Link Sleuth

Итак, сначала необходимо скачать программу Xenu’s Link Sleuth , затем установить на свой компьютер. Программа создана только для операционной системы Windows. Установка производится обычным образом, никаких сложностей возникнуть не должно. После запуска программы выбираете из меню «File»→«Check URL»:

В открывшемся окне вводим необходимую информацию, чтобы провести seo аудита сайта:

Сначала надо указать адрес страницы сайта, которая подвергнется проверке. Это может быть как главная, так и любая другая, например: http://goldbusinessnet.com/ или http://goldbusinessnet.com/dvizhok-wordpress/wordpress-vidzhet/.

Внимание! Адрес страницы должен обязательно заканчиваться символом слеш «/». Будьте внимательны!

Теперь небольшое отступление. Как видите, настройки имеют такую замечательную функцию как «e-mail». Если я правильно разобрался, она предназначена для того, чтобы сообщить результаты аудита сайта другому лицу (например, своему другу об анализе его сайта). Для этого нажимаем эту кнопку и получаем:

Если ставим флажок e-mail only if there are broken links (отправить e-mail только, если обнаружены битые ссылки), то лицо, аудит сайта которого вы проводили, получит отчет только тогда, когда на его ресурсе будут найдены битые ссылки. SMTP-сервер поддерживает отправку электронной почты. В диалоговом окне указываете адреса отправителя, получателя, а также тему послания (subject).

Насколько понимаю, это бесплатная услуга. Какой сервис выбрать? Вот тут я теряюсь, поскольку еще не пользовался данной опцией. На скриншоте указан один из них, его я обнаружил в сети. Также некоторые провайдеры предоставляют данную услугу, но, к сожалению, более ничего сказать по этому поводу не могу. Надеюсь, кому-нибудь пригодится данная опция. Далее, необходимые пояснения для начала проведения seo анализа:

• Local file — эта опция используется в том случае, если необходимо проанализировать ссылки в локальном файле, расположенном на вашем компьютере:

Находим соответствующий HTML-документ, потом нажимаем «Открыть». Адрес этого файла может быть такого вида: file://C:/document.html/.

• Check external links — если вы хотите проверить наряду с внутренними ссылками также внешние, то ставьте здесь галочку.
• Consider URL’s beginning with this as internal — сюда можно добавить ссылки, которые необходимо считать внутренними; после добавления очередной ссылки надо нажать «Add». Скажем, вы делаете аудит главной страницы сайта; тогда определяем внутренние страницы, которые имеют отношение к сайту, но имеют адрес, отличный от url главной страницы, например: http://forum.yoursite.ru (главная страница http://yoursite.ru ).
• Do not check any URL’s beginning with this — сюда добавляем ссылки, которые не подлежат проверке программой Xenu’s Link Sleuth. Здесь могут быть адреса счетчиков (http://top100.rambler.ru), баннеров и т.д.

Далее кликаем «More options», чтобы получить дополнительные настройки:

«Basic» (базовые настройки):

Apply to all jobs (применить для всех проектов) — опция позволяет сохранять настройки ко всем вашим ресурсам.

Parallel Treads (параллельные нити) — с помощью ползунка можно настроить число потоков, то есть количество одновременно проверяемых ссылок (например, current: 4). Здесь необходимо иметь ввиду, что чем больше это число ,тем сильнее нагрузка на сервер. Поэтому необходимо оптимизировать эту опцию: если подлежащий seo аудиту ресурс является крупным многостраничным сайтом, то число одновременно проверяемых ссылок может быть больше, если у вас нагрузка минимизирована при помощи соответствующих инструментов.

В случае небольшого блога, если к тому же у вас действует самый дешевый пакет хостинга, необходимо ставить значение 2-4. Когда я выполняю seo аудит своего блога, я устанавливаю значение 4. Естественно, если нагрузка на хостинг оптимизирована, то можно ставить больше (говорят, среднее оптимальное значение 10).

Maximum depth — максимальная глубина поиска. Обычно небольшие сайты или блоги имеют небольшую глубину просмотра, а крупные порталы, конечно, имеют множество подрубрик, но не настолько, чтобы максимальная цифра (999) оказалась востребованной.

Ask for password or certificate when needed (запрашивать пароль или сертификат, когда необходимо). По ходу проведения seo аудита сайта под проверку могут попасть страницы, для которых используется защищенное соединение (протокол https). Тогда происходит запрос вышеуказанных данных.

Treat redirections as errors (считать редиректы, или перенаправления, как ошибки). В случае, если флажок не установлен, то ответы сервера со статусом редиректа не будут считаться ошибками.

Теперь посмотрим,что можно включить в рапорт (report), который будет представлен по итогам аудита сайта:

1. Broken links, ordered by links — битые ссылки, отсортированные по адресам
2. Broken links, ordered by page — битые ссылки, которые будут упорядочены по страницам
3. Broken local links — найденные неправильные внутренние ссылки
4. Redirected URL’s — адреса с редиректом 301/302
5. FTP and gopher URL’s — FTP, а также другие не HTTP адреса. Программа Xenu не проверяет их работоспособность, но имея полный список, пользователь может проверить их самостоятельно.
6. Valid text URL’s — рабочие текстовые ссылки
7. Site map — карта сайта. Программа Xenu Link Sleuth может построить HTML- карту сайта для вашего ресурса, которая будет отображена в отчете.
8. Statistics — статистические данные
9. Orphan files (дословно: файлы-сироты). Бывает такое, что страница удалена, а относящиеся к ней файлы нет. Проблема несущественная, но кому нужен лишний мусор? Тогда Xenu Link Sleuth проанализирует, существуют ли файлы, на которые не ссылается ни одна страница сайта.

На скриншоте выше флажками (галочками) отмечены те пункты, которые я использую при проведении аудита сайта. Вы можете отметить все опции, но надо ли это? Рапорт будет очень объемным, не исключена серьезная нагрузка на сервер. Конечно, при необходимости получения разовой дополнительной информации возможно включение других функций, например, если вам необходимо создать карту сайта.

Аудит сайта с помощью программы Xenu’s Link Sleuth

Переходим непосредственно к аудиту сайта. После всех этих манипуляций нажимаем «ОК» и Xenu’s Link Sleuth начнет работу. Процесс может занять от нескольких минут до нескольких часов. Это зависит от многих причин, включая число страниц сайта, загруженность сервера и т.д. В результате программа начнет анализировать все внутренние, внешние (ведущие с вашего сайта на другие ресурсы) ссылки. В окне программы есть возможность сортировки результатов по табуляторам:

• Status — табулятор, который позволяет сконцентрировать битые ссылки вместе. Чтобы осуществить данную опцию, надо кликнуть по этому табулятору, результатом чего все неправильные ссылки окажутся в одном месте (битые ссылки выделены красным цветом, все правильные — зеленым):

В табуляторе «Status» дается пояснение касательно состояния данных битых ссылок, то есть практически причин их возникновения: no connection (нет соединения с сервером; в этом случае программу можно запустить еще раз, возможно, это временный сбой из-за перегруженности сервера), not found (страница не создана; это некорректная ссылка).

Возможны другие варианты; но согласитесь, очень удобный функционал, вы знаете причину возникновения битой ссылки. Более того, получите информацию, на какой именно странице ее искать. Для этого кликните правой клавишей вашей мышки по соответствующей ссылке в окне программы Xenu’s Link Sleuth и выберите из контекстного меню вариант «URL properties»:

В самом низу дан список адресов,где обнаружена данная битая ссылка. Идете туда, затем удаляете ее. Подсказкой служит текст этой ссылки (исходя из данного примера Title or link text: подтверждение). Для этого копируем адреса страниц, заходим в визуальный редактор админ-панели например wordpress, в разделе «Записи»→«Все записи» выбираем необходимую, кликаем «Изменить». Покажу пример своей статьи, где была проставлена неправильная ссылка:

С помощью мышки выделяем слово или словосочетание, содержащее неправильную ссылку, нажимаем на инструмент удаления ссылки. Все, задача решена.

• С помощью табулятора «Type» есть возможность отсортировать ссылки на файлы с различным расширением, например, файлы изображения (расширения .png, .jpeg, .gif):

Также «Type» позволяет проанализировать эти ссылки. Скажем, можно проверить имеют ли изображения атрибут alt, который, как известно, имеет решающее значение при поиске по изображениям в поисковых системах.

• Табулятор «Syze» дает возможность распределить ссылки на страницы и файлы по их размеру (например, нажав на табулятор вверху, получим размер по возрастанию вниз). Таким образом, можно выяснить, какие страницы имеют наибольший вес, а, следовательно, будут долго загружаться. Имея аналитические данные, можно предпринять определенные шаги по оптимизации.
• Используя табулятор «Title» сортируете страницы, имеющие заголовок (Title). Это имеет огромное значение, потому что можно определить повторяющиеся заголовки (которые будут отображаться рядом), а также страницы, которые не имеют заголовка Title.
• «Level» позволяет отсортировать страницы по уровню вложенности: 0 (главная страница), 1, 2, 3 и т.д. Для улучшения внутренней оптимизации уровень не должен быть выше 3 с целью облегчения навигации сайта.

Еще некоторые важные табуляторы, которые отображены программой Xenu’s Link Sleuth, они появляются после получения результатов seo аудита сайта:

• «Out Links» — табулятор, позволяющий сделать сортировку по количеству внешних ссылок, ведущих со страниц ресурса (по возрастанию или убыванию). Кликнув правой кнопкой мышки по ссылке, из контекстного меню можно получить данные, позволяющие понять, на какую именно страницу ведет ссылка.
• С помощью «In Links» распределяем также входящие ссылки, а из контекстного меню узнаем адреса ресурсов, ссылающихся на этот документ.
• «Duration» — сортировать ссылки страниц по возрастанию или убыванию времени их загрузки (скорость загрузки вебстраниц сайта). По этой информации можно внести необходимые коррективы в оптимизацию данных страниц.

После окончания seo аудита ресурса программа Xenu’s Link Sleuth предложит сохранить отчет об анализе (Окончание seo аудита программой Xenu’s Link Sleuth):

Нажимаем «Да», затем получаем отчет Xenu’s Link Sleuth о проведенном seo аудите вашего блога, где наверху расположено меню полученных результатов:

Ну вот, пожалуй, все. Я постарался подробно описать все возможности Xenu’s Link Sleuth при самостоятельном проведении аудита сайта, потому что материалы в интернете не дают полного описания функционала. Надеюсь, вы почерпнули максимум информации, дорогие читатели, которой воспользуетесь с пользой.

Практические примеры использования Xenu’s Link Sleuth

1. Найти битые ссылки
Это нужно, чтобы ваш сайт был более качественным в глазах пользователей и для поисковых систем. В программе нужно сортировать столбик «Status». Для этого нужно просто на него нажать.

2. Найти дублированные названия
Рекомендуется, чтобы каждая страница сайта имела уникальное название. Нажмите на название столбика «Title» и вы сможете найти дублированные названия.

3. Поиск больших страниц и картинок
Желательно не иметь на сайте страницы большого размера, так как не у всех пользователей есть хорошее подключение к интернету. Чтобы найти такие страницы, нажмите в программе на «Size».

4. Узнать количество входящих ссылок на страницу
Для этого нажмите на столбик «In Links». Чтобы узнать какие именно страницы ссылаются на текущую страницу, щелкните правой кнопкой мыши и выберите «Options».

5. Поиск страниц с наибольшим количеством исходящих ссылок
Если вам нужно узнать число исходящих ссылок на определённых страницах, то вы это можете легко сделать, нажав на «Out Links».

6. Найти страницы на глубоких уровнях
Для большего понимания что это значит, приведу пример: www.site.ru/уровень1/уровень2/уровень3. Для этого нажмите на «Level».

7. Найти изображения без названий
Если вы хотите, чтобы ваш сайт находили чаще, то постарайтесь не оставлять изображения без названий. Для поиска незаполненных названий нажмите на «Type».

Как проверить сайт на наличие битых ссылок?

В видео я показал, как можно обнаружить битые ссылки через сервисы яндекс вебмастер, гугл вебмастер и программу Xenu Links Sleuth.

www.imbf.org