Xenu как пользоваться программой


Xenu, Netpeak Spider – проверка битых ссылок.

Доброго времени суток! На прошлой неделе вернулась из деревни, где провела незабываемое время полного релакса! Погода выстояла отличная, дни напролет мы проводили в реках, озерах, лесах, полях. Свежий воздух и ни души вокруг - вот это настоящий отдых!

Продолжаем изучать тему оптимизации блога на WordPress. Ранее мы детально рассмотрели вопрос проверки сайта на дубли страниц и битые ссылки вручную и с помощью плагина. Сегодня мы подробно остановимся на 2х десктопных программах, выполняющих эти задачи автоматически, разберем их основные настройки и параметры технического аудита. Это - Xenu’s Link Sleuth и Netpeak Spider, бесплатные инструменты для seo-анализа блога.   

Содержание:

Как пользоваться программой Xenu.

Работать с этой программой не сложно, а в результате получается подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Помимо своего основного предназначения, проверки битых ссылок, Xenu может выполнять и другие задачи:

  • составление карты сайта;
  • определение времени загрузки страниц;
  • поиск неуникальных тайтлов;
  • выявление страниц со значительным уровнем вложенности;
  • определение количества внешних и внутренних ссылок на сайте;
  • выявление картинок без атрибута alt.

Обозначенные моменты весьма немаловажны для развития ресурса. Решение данных задач послужит для оптимизации вашего вордпресс-блога. Поэтому предлагаю вам внимательно изучить инструкцию по работе с Xenu Link Sleuth. Начнем.

Данное приложение является бесплатным. Скачать программу Xenu можно по ссылке: xenus-link-sleuth.en.softonic.com.

Разархивируем файл и запускаем Setup.exe. После установки программы можно приступать к настройке её основных параметров. Следует отметить, что Xenu написана для Windows и не работает с другими операционными системами. 

Интерфейс приложения англоязычный, но он лаконичен и достаточно прост. Чтобы создать новую проверку, нужно кликнуть по первой пиктограмме в левом верхнем углу окна программы или пройти по пути «File» - «Check URL». В результате откроется окно «Xenu’s starting point» с базовыми настройками:

Вверху вписываем адрес инспектируемого ресурса.  Если вы хотите включить в проверку ссылки на внешние ресурсы, следует оставить галочку возле пункта «Check external links». Кнопка «Local file» предназначена для выбора файла на вашем компьютере, если вы хотите проанализировать таковой.

В поле «Consider URLs beginning with this as ‘internal’:» вы можете добавить такие страницы, которые относятся непосредственно к проверяемому сайту, но имеют отличный от главной страницы адрес. Например, https://forum.ВашСайт.ru.

В поле же «Do not check any URLs beginning with this:» можно перечислить те линки, которые вы хотите исключить из проверки программой Xenu.

В нижней части расположена кнопка «e- mail». Она потребуется вам в том случае, если вы захотите получить отчет о проделанном анализе блога на свой e-mail с помощью SMTP-Server:

«e- mail report and quit when done» - выберите этот пункт, если хотите получить весь отчет сразу по завершению работы приложения;

«e- mail only if there are broken links» - при выборе этого варианта отчет придёт, если будут найдены битые ссылки.

Помимо этого, в Xenu предусмотрено большое количество дополнительных настроек. Их можно вызвать, кликнув по кнопке «More options». 

Перед нами открывается вкладка «Basic Options». Первый параметр - «Parallel Threads». Он регулирует количество параллельных синхронных запросов. Другими словами, какое число ссылок будет проверяться одновременно. Рекомендуется не превышать значение по умолчанию, чтобы не перегружать сервер и не влиять на корректность проводимого аудита. Пункт «Maximum Depth» устанавливает максимальную глубину вложенности страниц, на которой будет проводиться работа программы Xenu. Здесь тоже можно оставить дефолтное значение. Если поле «Treat redirections as error» отметить галочкой, редиректы будут рассматриваться приложением как ошибка.  

Справа расположен блок чекбоксов «Report». Он служит для того, чтобы настроить вывод отчета после сканирования сайта. Выберите те параметры, показатели которых вы хотите видеть в итоге:

«Broken links, ordered by links» - битые ссылки, сгруппированные по URL-адресам;

«Broken links, ordered by page» -  аналогично, битые ссылки, но сгруппированные по страницам;

«Broken local links» - внутренние битые ссылки;

«Redirected URLs» - адреса с 301-ым и 302-ым редиректами;

«Ftp and gopher URLs» - URL с протоколами, отличными от http;

«Valid text URLs» - не битые (рабочие) ссылки;

«Site Map», «Statistics» - добавить в отчет карту сайта, статистику;

«Orphan files» - файлы-одиночки, т.е. те, на которые ссылок нет.

Если мы хотим применять данные настройки для всех проектов, нужно отметить галочкой поле «Apply to all jobs».

Сделав настройки Xenu, жмем «ОК». Программа начинает аудит сайта. Она проходит по всему блогу и определяет наличие ссылок. Если возникает необходимость приостановить работу приложения, на панели вверху есть кнопки «Pause» (приостановить), «Stop» (прервать), «Continue» (продолжить). Сколько будет длиться анализ ресурса, зависит от количества страниц, одновременных потоков, скорости соединения и загруженности сервера. По завершению работы, появляется диалоговое окно, сообщающее об этом и предлагающее вывести отчет.

Если соглашаемся, Xenu формирует htm-документ с результатами проделанного анализа в режиме реального времени.

Теперь разберем, как можно пользоваться данными, полученными с помощью Xenu Link Sleuth, в самой программе. Результаты seo-анализа сайта расположены в нескольких столбцах.  «Address» содержит список всех найденных URL. Для того, чтобы получить более детальную информацию о какой-то конкретной ссылке, кликаем по ней правой кнопкой мыши, в появившемся контекстном меню выбираем пункт «URL properties». Открывается окно, в котором отображены следующие характеристики линка:

  • «Page URL» - страница, на которую ведет ссылка;
  • «Title or link text» - атрибут title или анкор ссылки в материале нашего блога;
  • «1 page linking to this one» - URL страницы, где находится ссылка.

Далее идет столбец «Status», где указаны статусы всех ссылок. Если мы хотим отфильтровать битые ссылки, достаточно просто кликнуть по названию колонки. Нерабочие ссылки, выделенные красным цветом, будут сгруппированы программой Xenu в верхней части страницы.

Битые ссылки могут иметь такие статусы:

  • not found -  ссылка не найдена;
  • no such host – данный URL не существует;
  • no connection – сервер не отвечает. В данном случае следует уменьшить количество одновременных потоков в настройках и повторить проверку.

Закладка «Type» позволяет сортировать файлы по типу расширения: картинки, html/css-файлы и т.д.

Во вкладке «Size» собрана информация о весе файлов в Кб. Этими данными можно воспользоваться, чтобы найти и сжать самые тяжелые изображения на блоге.  

В колонке «Title» можно отсортировать результаты по одноименному мета-тегу title. Это дает возможность найти дубли страниц по визуальному совпадению заголовков.

Также приложение предоставляет информацию по таким параметрам:

«Date» - дата появления ссылки;

«Level» - глубина вложенности страницы, на которой находится URL;

«Out Links» - количество исходящих ссылок на конкретной странице;

«In Links» - входящие ссылки, ведущие на определенную страницу.

Воспользовавшись инструкцией по работе с Xenu Link Sleuth и проанализировав результаты seo-анализа, вы с легкостью сможете устранить все битые ссылки и большинство дублей на вашем блоге.

Netpeak Spider: определение основных сео-параметров сайта.

                Данная программа является аналогом Xenu. Она позволяет просканировать сайт на наличие ошибок, связанных с внутренней оптимизацией. При этом приложение имеет русскоязычный интерфейс, что значительно упрощает работу с ним. И если вы уже знакомы с программой Xenu, выполнить настройки Netpeak Spider для вас не составит труда.

Вот список тех параметров, которые можно получить в результате аудита сайта с помощью данной программы:

  • «URL» — адрес просканированной страницы;
  • «Глубина» — уровень вложенности страницы;
  • «LinkCanonical» – наличие атрибута rel =”canonical” и адрес, на который он указывает;
  • «Ответ» — ответ сервера (3ХХ-5ХХ);
  • «Title», «Description», «Keywords» — содержание соответствующих мета-тегов;
  • «robots.txt» — разрешена или запрещена (allowed/disallowed) индексация страницы;
  • «MetaRobots» — наличие мета-тега «robots»;
  • «Редиректы» — количество перенаправлений со страницы;
  • «Заголовки (h2)» — количество заголовков первого уровня;
  • «Ссылки с этой страницы», «Ссылки на эту страницу» — количество всех ссылок, исходящих с этой страницы и ведущих на эту страницу соответственно;
  • «Внутренние ссылки»;
  • «Внешние ссылки»;
  • «PR», «PR (без сквозных ссылок)» — внутренний показатель Page Rank страницы, внутренний показатель Page Rank страницы без учета сквозных ссылок;
  • «Дубли по Title», «Дубли по Description», «Дубли по Keywords» — группы страниц с соответственным повторяющимся мета-тегом.  

Скачать программу можно по ссылке — netpeak.ua/software/netpeak-spider. Приложение бесплатное, но необходимо пройти несложную регистрацию. После этого на электронную почту нам будет выслан ключ активации, которым надо воспользоваться при установке программы. Сам процесс установки стандартный: запускаем файл .exe и следуем инструкциям Netpeak Spider.    

После запуска приложения, открываем окно с необходимыми настройками: «Настройки» — «Сканирование». Выбираем необходимые параметры, сохраняем.

В основном окне программы прописываем адрес проверяемого ресурса, указываем количество параллельных потоков и глубину вложенности страниц. Запускаем сканирование (пиктограмма справа от поля для вставки URL).

Полученные результаты можно фильтровать по такому же принципу, как и в программе Xenu. Для доступа к детальной информации об интересующем нас показателе достаточно вызвать контекстное меню кликом правой кнопки мыши. Так, к примеру, если мы хотим увидеть список всех исходящих ссылок на конкретной странице, кликаем по количеству и выбираем в появившемся окне пункт «Посмотреть все ссылки с этой страницы».

Для поиска дублей справа от основного размещено окно поменьше. Здесь предлагается кнопка «Найти дубли» и возможность выбрать критерий фильтрации – «По title», «По description» или «По keywords». Результаты аудита можно сохранить в виде файла Excel.  Для этого следует кликнуть по основному меню в верхней области окна «Экспорт в Excel».

В заключение следует упомянуть, что и Xenu Link Sleuth, и Netpeak Spider зарекомендовали себя как отличные инструменты для проверки битых ссылок и имеют множество положительных отзывов среди веб-мастеров. Отмечу, что хотя функционал Netpeak Spider несколько шире, в отличии от Xenu, в ней нет возможности повторно открыть проверяемый файл.

pro-wordpress.ru

Проводим аудит внутренней структуры сайта программой Xenu Link Sleuth

Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

– Искать битые (неработающие) ссылки на заданном ресурсе. Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth, как свободный софт, простой в настройке и использовании.

– Составлять карту сайта. Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

– Искать страницы с большим временем отдачи. Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

– Найти неуникальные тайтлы. Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

– Найти страницы с большим уровнем вложенности. Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

– Искать страницы с максимальным количеством исходящих ссылок. Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя. Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

– Найти картинки с отсутствующим атрибутом alt. Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.

Ксену является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов. Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя: Broken links, ordered by link — Битые ссылки, отсортированные по адресу; Broken links, ordered by page — Список битых ссылок, отсортированных по страницам; Broken local links — Битые внутренние ссылки;

Redirected URLs — Адреса с 301/302 редиректом;

Ftp and gopher URLs — ФТП и другие не HTTP адреса; Valid text URLs — Список рабочих текстовых ссылок; Site Map — Карта сайта;

Statistics — Статистика;

devaka.ru

Аудит сайта с Xenu | Поиск битых ссылок и ошибок бесплатно

Xenu's Link Sleuth — бесплатная программа-краулер, позволяющая сканировать любой сайт. Ее основным назначением является поиск битых ссылок, однако софт позволяет решать и другие задачи.

Cкачать дистрибутив Xenu можно на официальном сайте home.snafu.de. Программа работает стабильно, несмотря на то, что последняя сборка датирована 2010 годом, и станет полезным инструментом для тех, кто занимается развитием своего проекта.

Единственными минусами Xenu для некоторых пользователей могут стать полностью английский интерфейс и отсутствие возможности экспорта отчетов в таблицы.

Начало работы с Xenu

После установки и запуска программы откроется окно минималистичного интерфейса.

Для запуска нового проекта выберите в меню File > Check URL.

В открывшемся окне вбейте адрес своего проекта.

Галочка Check external links означает,что будут просканированы внешние (исходящие) ссылки сайта.

Если вы хотите исключить из внешнего ссылочного профиля некоторые ссылки, например, на поддомены или зеркала, укажите, какие URLы считать внутренними в секции Include/Exclude.

Также здесь можно исключить из сканирования целые директории, если они слишком обширны или вы разделили сканирование на несколько этапов.

Настройка программы

В меню Options можно установить дополнительные настройки для сканирования. Так, в секции Basic отмечаем галочками нужные виды отчетов.

  1. Broken links, ordered by link — Битые ссылки, сгруппированные по URL-адресу;
  2. Broken links, ordered by page — Битые ссылки, сгруппированные по страницам, где они расположены;
  3. Broken local links — Внутренние битые ссылки;
  4. Redirected URLs — Адреса, возвращающие 301 или 302 редирект;
  5. Ftp and gopher URLs — FTP и не HTTP/HTTPS протоколы;
  6. Valid text URLs — Рабочие текстовые ссылки;
  7. Site Map — Карта сайта в формате XML;
  8. Statistics — Статистика;
  9. Orphan files — Потерянные файлы (те файлы, на которые не ссылается ни один документ сайта): для их поиска программа запросит FTP-доступ к серверу).

По окончании сканирования вы увидите окошко.

Кликните Да и отчет откроется локально в окне браузера.

Анализ html-отчетов

Xenu формирует html-страничку с отчетами, указанными в настройках.

Используя полученные данные, можно найти достаточно серьезные проблемы в оптимизации сайта.

Какие ошибки можно выявить с помощью отчета

1. Найти и устранить неработающие ссылки. Со временем информация на сайте устаревает и появляются битые ссылки на уже удаленные страницы, картинки, документы вашего же или стороннего ресурса. Большое количество неработающих ссылок служит сигналом поисковику о том, что развитию сайта не уделяют внимания, а значит, возможно, и его контент не несет большой ценности. Кроме того, битые URLы — однозначно плохой user experience.

Программа найдет все неработающие ссылки, в том числе на служебные файлы и элементы дизайна.

Смотрите отчеты: — Broken links, ordered by link — Broken links, ordered by page

— Broken page-local links

2. Увидеть, какие ссылки возвращают редирект. В SEO часто используется склейка редиректом дублирующих адресов или удаленных страниц с новыми, чтобы не терять посетителей. При этом за внутренними ссылками следят не так внимательно и при простановке редиректов оставляют их в исходном виде. Тогда как большое число активных редиректов — это еще один сигнал для поисковика о том, что информация на сайте не актуализируется.

Смотрите отчет: — List of redirected URLs

3. Получить список всех страниц сайта и выстроить его структуру.

Список всех доступных страниц поможет составить правильную логическую структуру сайта и найти URLы с большим уровнем вложенности. Если вы нашли важную информацию на странице 4-го или 5-го уровня вложенности, стоит подумать над улучшением внутренней навигации.

Смотрите отчеты: — List of valid URLs you can submit to a search engine

— Site Map of HTML pages with a Title

4. Составить HTML-карту сайта. Программа создаст карту сайта, которую удобно использовать на небольших статичных ресурсах взамен долгого ручного труда.

Смотрите отчет: — Site Map of HTML pages with a Title

5. Найти неуникальные тайтлы.

Дублирование браузерных заголовков — критичная ошибка в оптимизации сайта. Для поисковика title был и остается одним из ключевых сигналов о содержимом страницы. Если на сайте несколько URL с одинаковым заголовком, поисковику придется случайным образом решать, какой же из них отвечает на запрос пользователя, что негативно скажется на ранжировании всего сайта.

Смотрите отчет: — Site Map of HTML pages with a Title

6. Получить экспресс-статистику сайта.

В этом отчете вы найдете статистику по сайту с указанием типов данных, кодов ответа и размеров передаваемого кода.

Смотрите отчет: — Statistics for managers

Данные в окне программы

Тем временем, в основном окне программы останется доступным список всех просканированных адресов и их параметров.

  1. Address — URL страницы;
  2. Status — Статус сканирования (доступность страницы во время обхода программой);
  3. Type — Тип содержимого;
  4. Size — Объем передаваемых данных;
  5. Title — Браузерный заголовок title;
  6. Date — Дата обновления (может отсутствовать);
  7. Level — Уровень вложенности;
  8. Out Links — Исходящие ссылки;
  9. In Links — Входящие ссылки;
  10. Server — Тип сервера;
  11. Error — Описание ошибки;
  12. Duration — Время ответа;
  13. Charset — Кодировка;
  14. Description - Мета-описание description.

К сожалению, эту информацию нельзя выгрузить в привычный табличный редактор, но с ней можно работать прямо в окне программы — доступна сортировка по столбцам.

Что можно узнать по собранным данным

1. Найти страницы с наибольшим и наименьшим количеством внутренних ссылок.

Полученные данные можно использовать при перелинковке сайта. Наиболее важные страницы должны иметь самое большое число входящих ссылок.

Для просмотра всех внутренних связей страницы кликните по URL-адресу правой кнопкой мыши и выберите URL properties.

2. Найти страницы с долгим ответом и ошибками сервера.

Потребуется исправить конфигурацию или удалить ошибочные ссылки.

3. Найти исходящие ссылки на другие ресурсы.

Адреса этих сайтов появятся в первом столбце вместе с вашими URL.

Злоумышленники используют чужие сайты в том числе для простановки вредоносных ссылок. Проверьте, действительно ли вы размещали эти ссылки.

4. Найти изображения без атрибута alt.

Если на вашем сайте много уникального графического контента, то поиск по изображениям может приносить неплохой трафик. Для того, чтобы пользователи находили ваш сайт, надо заполнить атрибут alt у всех изображений поясняющей подписью.

Увидеть заполненные и найти пустые можно в окне программы, оссортировав таблицу по типу контента.

В итоге

Несмотря на то, что с момента релиза софта прошло много времени, за которое появилось немало аналогичных инструментов, Xenu остается отличным средством для быстрого аудита не слишком крупных ресурсов.

Основными преимуществами программы остаются простота использования, скорость работы и, конечно, доступность на бесплатной основе, а недостатками — английский интерфейс и невозможность экспорта отчетов в таблицы.

liderpoiska.ru

Xenu Link Sleuth – что это такое за программа

Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Xenu – это сокращенное название программы Xenu’s Link Sleuth, предназначенной для внутреннего аудита сайта и поиска битых ссылок.

При изменении структуры сайта или URL-адресов на других страницах могут оставаться неактуальные ссылки, ведущие на старые несуществующие адреса. Именно поиск таких ссылок и является основной задачей Xenu. Программа является бесплатной, потому она очень популярна во всем мире. Это простой софт, позволяющий в короткие сроки проанализировать сайт на наличие битых ссылок и не только.

Возможности Xenu

Помимо поиска неработающих и битых ссылок, программа умеет:

  • искать изображения, фреймы, скрипты, плагины, стили и др.;
  • искать страницы с большим временем отклика;
  • искать страницы с большим весом;
  • искать страницы с большим уровнем вложенности;
  • проводить анализ внутренней перелинковки;
  • искать одинаковые заголовки Title;
  • искать изображения без атрибута alt;
  • составлять карту сайта;
  • проверять защищенные сайты по протоколу SSL (https://).

Xenu способна анализировать как весь сайт, так и его отдельные страницы. Также есть возможность проанализировать локальные документы на ПК.

В процессе анализа в основном окне будут отображаться результаты. В дальнейшем их можно будет экспортировать, допустим, в Excel.

Как работает программа

Чтобы начать анализ сайта в Xenu, необходимо запустить софт и нажать на вкладку File. Далее выбрать первый пункт Check URL.

Указываем адрес сайта, отдельных страниц или путь к документу на ПК.

После запуска в основном окне программы будут отображаться результаты анализа. Анализироваться будут как URL-адреса страниц, так и ссылки на различные файлы.

Красным цветом будут выделены битые ссылки.

С помощью различных табуляторов вы сможете отсортировать ссылки по разным параметрам: Status (битая или нет), Type (формат файла), Size (размер страницы), Title (заголовок) и Level (уровень вложенности).

wiki.rookee.ru

www.novichkoff.ru

Сегодня мы познакомимся с одной замечательной бесплатной программой для проверки битых ссылок — Xenu's Link Sleuth. Я уже писал про отличный плагин Broken Link Checker , но  эта программа умеет делать даже больше, чем он.

Поэтому я предлагаю обязательно попробовать эту программу. Уверен, вы ее полюбите и она станет постоянным участноком вашего арсенала вебмастера.

Мы подробно рассмотрим вопросы:

1.Предназначение, системные требования к программе. Скачивание и установка Xenu

Программа Xenu's Link Sleuth (сокращенно –Xenu) предназначена для поиска  «битых» ссылок (т.е. которые ведут в никуда), изображений, фреймов и еще кое-чего, менее для нас значимого.

Кроме того, программа умеет проверять HTML – файлы на вашем комьютере и проверять файлы на локальном сервере (типа Денвер-3), надо только указать  адрес локального сервера — http://127.0.0.1

И еще вебмастера ее приспособили для поиска дублей страниц, о чем подробно поговорим в одном из ближайших постов.

Преимущества программы Xenu's Link Sleuth:

  • Полностью бесплатная:
  • Имеет очень простой интерфейс (управление);
  • Улучшенные отчеты об ошибках (а не просто – «ошибка связи»);
  • Если требуется показ только «битых ссылок», то только они и будут показываться, а не все подряд;
  • Программа разрабатывалась только одним человек, причем имеющим опыт в создании программного обеспечения с 1983г. Поэтому исключена даже малейшая несовместимость различных частей программы;
  • Легкие в понимании отчеты, даже если вы используете длинные URL;
  • Файлы программы занимают на жестком диске мало места;
  • Многопоточная проверка (от 0 до 100 потоков) сокращает время проверки сайта;
  • Проверка защищенных сайтов с помощью протокола SSL (адрес начинается с https://);
  • Проверка редких FTP и Gopher сайтов;
  • Определение и обработка URL с редиректом;
  • Создает карту сайта.

Для работы программы требуется Windows 95/98/ME/NT/2000/XP/Vista/7. Она прекрасно работает и под Fedora 13, Red Hat 8, Ubuntu, OS X (требуется wine ), и под Mac (требуется CrossOver ).

И еще: для вашего же спокойствия автор программы рекомендует использовать обновленные антивирусные программы (сам он всегда так делает).

Скачать программу можно с сайта автора  . Как всегда, на случай непредвиденных обстоятельств я закачал последнюю версию Xenu – 1.3.8 —  на свой сервер. Оттуда тоже можно ее скачать.

Программа легкая, весит всего 743 КВ.

Установка программы никаких затруднений не вызывает: мастер установки работает прекрасно, надо только со всем соглашать и жать «Next».

2.Настройки программы

Для того, чтобы настроить программу, нам надо поработать в двух местах. Прежде всего, кликаем по вкладке «Options» и далее по «Preferences»:

 Рис.1 (Все скриншоты кликабельны)

У нас появится окно, где надо сделать настройки:

 Рис.2

Сначала нам надо установить количество потоков. По умолчанию стоит 30, но, полагаю, это число при первых проверках надо уменьшить до 3-5 (рекомендация автора), чтобы не создавать излишней нагрузки на линии связи и сайт. Автор программы, правда, пишет, что, хотя у него и DSL – соединение, его оператор, как он подозревает, препятствует увеличению нагрузки на сеть, чтобы заставить его перейти на более высокие тарифы. Ну, немецкие дела нас мало касаются (автор – из Германии), а вот у меня и при 5 потоках сервер хостинга начинает бастовать.

Поэтому начинать проверки следует осторожно и лишь постепенно увеличивая количество потоков.

Далее стоит окошко с установкой глубины просмотра. 999 так 999, пусть остается.

Флажок о необходимости запроса пароля или сертификата (при необходимости), тоже стоит оставить.

Перейдем к отчету (правая сторона окошка). Можете оставить те галочки, какие хотите, или вообще  все, программа в любом случае скачает все ссылки, а эти настройки касаются только отчетов.

Но, на всякий случай, я приведу русское значение этих строчек:

  • Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки;
  • Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы;
  • Broken local links – показывать локальные «битые» ссылки;
  • Redirected URLs – показывать ссылки с редиректами;
  • Site Map – создает sitemap для Google;
  • Statistics — строит в отчете различные таблицы.

В конце нажимаем ОК.

Теперь нам надо кликнуть по вкладке «File» и в появившемся списке команд нажать на «Check URL» (Проверить URL):

 Рис.3

Собственно, мы как бы уже начинаем процесс проверки, но предварительно нам предлагается ее настроить:

 Рис.4

Прежде всего, нам надо указать URL сайта, который мы хотим проверить. Проверять можно не только сайт целиком, но и отдельные страницы и папки. Но если вы проверяете папки (каталоги), то адрес надо писать обязательно со слешем на конце, иначе программа не поймет и проверит весь сайт целиком.

Написано в этом случае должно быть так (разница в последнем слеше — косой черте):

www.novichkoff.ru/user/

а не так:

www.novichkoff.ru/user

Примечание. Впереди должно быть указано http:// . У меня не написано, потому что Google тогда эту строчку воспринимает как ссылку.

Если вы собираетесь проверить какой-то отдельный html- файл, то надо нажать кнопку «Local File» (верхняя правая стрелка) и в открывшемся окне найти этот файл в своем компьютере.

Очень важный чекбокс – «Check external links» (Проверять внешние ссылки), галочку оставляем.

Следующее окно предназначено для исключений – ссылку, начинающаяся каким-то определенным образом (надо указать каким именно образом), считать как внешнюю. Это если вы используете такие ссылки: например, с помощью редиректа переводите внешние ссылки в разряд внутренних.

В следующем окне необходимо указать URL сайтов, все ссылки на которые проверять не следует.

В обоих этих  окнах, такие УРЛы надо вписывать по одному в верхнюю часть окна и нажимать «Add» (Добавить) и ссылка перейдет в нижнюю часть окна (на скриншоте рис.4 это видно). Программа запомнит эти настройки и не будет проверять ссылки, начинающиеся с указанных URL.

Можете в этих окнах вообще ничего не указывать.

Если вы забыли установить настройки в разделе «Options» (рис.2) или решили их изменить, то при нажатии кнопки «More options» (левая нижняя стрелка) попадете туда снова.

После всех настроек, нажимаете кнопку ОК – начинается процесс проверки ссылок.

3. Проверка ссылок и их предварительный анализ

Процесс проверки у всех будет занимать разное время – от нескольких десятков секунд до нескольких часов – в зависимости от размера сайта и количества параллельных потоков. После окончания проверки на главной странице программы появится окно:

 Рис.5

Нам программа сообщает, что проверка ссылок закончена и нужен ли вам отчет о проверке? Нажимаем «Да», если нужен, и «Нет», если не нужен. В первый раз нажмите «Да», чтобы посмотреть — что это такое, а дальше уже сами решите – надо это вам или нет.

Начинаем просмотр ссылок. В зависимости от результатов проверки цвет шрифта ссылок будет разный:

  • Зеленый – ссылка работает;
  • Серый – ссылка находится в очереди на проверку или же она исключена из проверки в соответствии с вашими настройками;
  • Красный – ссылка является «битой» или недоступна по тем или иным причинам (например, такое бывает, если сервер прервал допуск программы к сайту,  это будет видно в графе Status – будет написано что-то вроде TIMEOUT).

Если проверка ссылок прервана по каким-то причинам, через некоторое время повторите проверку, причем программа проверять будет только непроверенные ссылки. Для этого надо кликнуть по вкладке «File», у вас появится другой список команд, не такой как раньше, и нажать на ссылку «Retry broken links»:

Рис.6

Начнется допроверка или перепроверка битых/ непроверенных ссылок.

Кстати, обратите внимание, что на рис.6 в правой части указаны комбинации «горячих клавиш».

И еще посмотрите на нижний правый угол программы – там отображается общее время проверки, общее количество ссылок на сайте, сколько из них проверено и количество потоков в работе.

Перед тем, как приступить в анализу конкретных «битых ссылок», удовлетворим свое любопытство и посмотрим, что за анализ нам предлагает программа.

4.Отчет о «битых» ссылках

После того, как во всплывающем окне мы нажмем «Да», в вашем браузере откроется новая вкладка с отчетом о проделанной работе:

 Рис.7

Программа нашла у меня всего 2 битые ссылки и показывает данные о них для исправления:

  • Верхняя строчка показывает URL ссылки, это облегчит ее поиск,
  • Средняя строчка показывает тип ошибки – 404 или какая-то другая,
  • Нижняя строчка показывает адрес страницы, на которой расположена «битая» ссылка.

В нижней части отчета идут таблицы:

 Рис.8

Мне кажется, что эти данные лучше использовать при дальнейшей работе по совершенствованию всего сайта, а для работы по устранению «битых» ссылок они не очень годятся. Для работы с битыми ссылками лучше вернуться в программу.

5.Анализ «битых» ссылок

Прежде всего, нам надо найти ссылку, помеченную красным цветом, и кликнуть по ней. После этого нажать на кнопку «URL Properties» (верхняя стрелка):

Рис.9

Откроется окно с таким же названием. Мы видим, что у нас на сайте в шаблоне отсутствует картинки и что на эту картинку ссылается одна страница. В данном конкретном случае это не моя ошибка, а автора шаблона, но исправлять ее надо мне: сделать и закачать картинку под таким же названием.

Вот примерно таким образом вы и должны работать с каждой (!) «битой» ссылкой. Довольно часто придется писать другим вебмастерам, чтобы что-то поправили у себя на сайте, или редактировать шаблон, или исправлять адрес ссылки и т.д. Зато поисковики будут страшно довольны.

Маленькая подсказка: кликните по «битой» ссылке правой кнопкой мыши и в списке команд можете выбрать копирование ссылки.

Все это (поиск «красных» ссылок) можно сделать довольно легко, если у вас общее количество ссылок не очень большое. А если их много-много тысяч? Автор программы предусмотрел и это. В программе имеется возможность показа только «битых» ссылок. Для этого необходимо кликнуть по вкладке «View»:

Рис.10

В открывшемся списке команд щелкните по верхней строчке и программа покажет только «битые» ссылки:

 Рис.11

Теперь вам работать будет проще. Работать с ними надо точно так же, как написано выше: кликаете по ссылке правой мышью… Рассмотрение самой программы мы закончили, теперь (справочно!) приведу типы различных ошибок, которые в отчете пишет программа, и их суть.

6. Какие бывают типы ошибок в отчете XENU

Error 404 (Not Found)

Ошибка 404 – та самая, из-за которой мы и ищем «битые» ссылки. Означает – «Страница не найдена». Их обязательно надо найти на страницах сайта и исправить.

403 Forbidden

Ошибка 403 – в доступе отказано. На такие ошибки большого внимания не обращайте. Они возникают из-за того, что сайт или отдельный файл потребовал что-то дополнительно, например, пароль.

12029 (No Connection)

Ошибка 12029 возникает при отсутствии соединения с сервером. Это не свидетельствует о вашей ошибке, беспокоится не стоит.

503 (Service Unavailable)

Ошибка 503 – Сервис недоступен. Связь с сервером имеется, но сервер не отвечает. Это не ваша ошибка.

12002 (Timeout)

Ошибка 12002 возникает из-за разных причин. Суть ее в том, что произошло прерывание соединения с сервером. В нашем случае – из-за большой нагрузки на сервер. Необходимо через некоторое время возобновить проверку.

12038 (SSL certificate common name incorrect)

Ошибка 12038 происходит из-за того, что имеется ошибка в сертификате безопасности SSL. Эта ошибка не является свидетельством того, что ссылка – «битая». Не обращайте внимания.

7.Наша благодарность автору программы

Эту замечательную и притом бесплатную программу создал немецкий программист Tilman Hausherr. Эту программу он вполне мог продавать за деньги, но он даже не просит пожертвований в свой адрес, заявляя, что и финансовый кризис 2008 года сумел пережить.

Вы можете отправить деньги, если хотите, в помощь тем социальным программам и институтам, которым он сам оказывает помощь. Список таких адресов приведен на его сайте в разделе FAQ.

Если вы работаете во Всемирно известных компаниях, например, в Газпроме, то можете оправить ему почтой благодарственное письмо.

Но вот что могут сделать абсолютно все: Вы можете лайкнуть в Facebook на странице программы и/ или на странице автора.

Давайте не будем выглядеть неблагодарными.

О том как найти на сайте и удалить с него (исправить) битые ссылки, написано в этой статье.

P.S. Кстати, ликвидация «битых» ссылок поможет вам в раскрутке вашего сайта. Цена продвижения в интернет может быть излишне велика, если у вас на сайте много нерабочих ссылок, имейте это ввиду.

www.novichkoff.ru

Утилита Xenu Link Sleuth для технического аудита сайта

Основная функция утилиты Xenu - поиск битых ссылок на сайте, однако с её помощью можно осуществлять достаточно широкий ряд других задач по техническому аудиту.

Xenu, незаменимый помощник при проведении аудита вашего сайта. Утилита Xenu Link Sleuth бесплатна и доступна для свободного скачивания с сайта http://home.snafu.de/tilman/xenulink.html

Xenu окажет вам неоценимую помощь если:

  1. Вы ищите неуникальные title. Думаю не нужно убеждать вас, что title на каждой странице должен быть уникален. В случае неуникального тега 'title', страница может восприниматься поисковиком как дублированный контент. И следовательно затруднять продвижение целевой страницы.
  2. Ищите страницы с большой вложенностью. Практика показывает, что пользователь охотно посещает страницы которые находятся в пределах двух-трех кликах от главной. Страницы расположенные дальше от главной страницы могут быть менее посещаемыми или вообще не посещаться как пользователями, так и самими поисковыми системами. В случае обнаружения подобных страниц, лучше всего перестроить навигацию по сайту, продумав более дружественную по отношению к пользователю структуру.
  3. Осуществляете поиск картинок с отсутствующим атрибутом 'alt'. Наличие атрибута alt является важным при оптимизации картинок и самих страниц под определённые поисковые запросы. Утилита Xenu Link Sleuth поможет вам в обнаружении данных страниц и изображений.
  4. Осуществляете поиск страниц с большим временем отдачи. Сопоставив данные статистики по отказам и данные по страницам с большим временем отдачи, можно получить полную картину по тому, как можно улучшить сайт и поведенческие факторы пользователей. Устранение причин долгой загрузки страниц, скажется положительно как на посетителях, так и общей видимости сайта в поисковых системах.
  5. Проводите аудит внутренней перелинковки. С помощью Xenu, вы можете проверить какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя. Тем самым, экспериментируя с данным параметром, получите идеальную внутреннюю перелинковку.
  6. Контролируете количество и доступность внешних ссылок. От количества и качества внешних ссылок с вашего сайта зависит успех продвижения проекта. Старайтесь необдуманно их не размещать, а в идеале стараться размещать только особенно необходимые. Xenu поможет контролировать их наличие, количество и доступность внешних ресурсов.
  7. Составляете карту сайта в формате .html Данная задача актуальна для сайтов на html или сайтов построенных на cms с отсутствием такой возможности. Xenu Link Sleuth позволяет сгенерировать актуальную html карту сайта, буквально за пару минут, в зависимости от количества страниц сайта.
  8. Осуществляете поиск страниц с битыми ссылками. Если у вас несколько страниц на сайте, то контроль битых ссылок на представляется сложной задачей, однако как показывает практика, количество страниц сайта со временем растёт, что затрудняет подобный поиск. Утилита Xenu справится и с этой задачей!

Работа в Xenu

Программа на требовательна к ресурсам, очень проста и интуитивна понятна в работе. Затруднение может вызвать интерфейс на английском языке, но это скорее всего преодалимо.

При запуске утилиты, необходимо нажать кнопку Check URL, ввести адрес проверяемого сайта и нажать кнопку 'OK'. Xenu начнёт собирать и анализировать полученные данные. После сбора всех данных, вам будет предложено сформировать отчёт. Соглашайтесь и жмите 'ДА' :)

Следующее окно может спросить у вас доступ по FTP, можете смело игнорировать данный запрос при помощи кнопки 'Cancel'. После этого, откроется ваш браузер по умолчанию с уже готовым подробным отчётом в формате .html.

Настройки Xenu Link Sleuth

В программе Xenu Link Sleuth предусмотрено несколько настроек, доступных в пункте меню Options > Preferences. Данное окно имеет две вкладки: Basic и Advanced.

Ползунок Parallel threads устанавливает количество параллельных запросов. Чекбокс Apply to all jobs позволяет использовать эти настройки для всех проектов.

Далее, пункты влияющие на формирования данных в отчёте Xenu:

  • Broken links, ordered by link — Битые ссылки, сформированные по ссылкам;
  • Broken links, ordered by page — Битые ссылки, сформированные по страницам;
  • Broken local links — Битые локальные ссылки;
  • Redirected URLs — Ссылки с редиректом;
  • Ftp and gopher URLs — FTP и другие ссылки;
  • Valid text URLs — Список рабочих текстовых ссылок;
  • Site Map — Карта сайта;
  • Statistics — Статистика;
  • Orphan files - Файлы без ссылок.

Работа с данными в самой утилите Xenu:

Теперь разберем, как можно пользоваться данными, полученными с помощью Xenu, в самой утилите. Результаты анализа ссылок сайта расположены в нескольких столбцах.

Столбец Address содержит список всех найденных URL.

Столбец Status показывает статусы всех ссылок. Если необходимо отфильтровать битые ссылки, достаточно просто кликнуть по названию колонки. Нерабочие ссылки, выделенные красным цветом, будут сгруппированы программой Xenu в верхней части страницы.

Столбец Type позволяет сортировать файлы по типу расширения. Столбец Size предоставляет информацию о размере файлов. Этими данными можно воспользоваться, чтобы найти и сжать самые тяжелые изображения.

В столбеце Title можно отсортировать результаты по мета-тегу title. Это дает возможность найти дубли страниц по визуальному совпадению заголовков.

Столбец Date можно отсортировать по дате появления ссылок.

Столбец Level показывает глубину вложенности страницы, на которой находится URL. Прекрасно подойдёт для анализа и построения правильной навигации.

Столбец Out Links - количество исходящих ссылок на конкретной странице.

Столбец In Links» - входящие ссылки, ведущие на конкретную страницу.

Детальная информация о конкретной ссылке:

Для того, чтобы получить более детальную информацию о какой-то конкретной ссылке, выделяем её и кликаем по ней правой кнопкой мыши, в появившемся контекстном меню выбираем пункт URL properties.

Вы увидите окно, в котором отображены следующие параметры:

  • Page URL - страница, на которую ведет ссылка;
  • Title or link text - атрибут title или анкор ссылки в материале нашего блога;
  • page linking to this one - URL страницы, где находится ссылка.
На этом возможности программы не заканчиваются.

Запустив заново анализ сайта, вы увидите кнопку Local file, которая предназначена для выбора и анализа локального файла на вашем компьютере.

В поле Consider URLs beginning with this as ‘internal’: вы можете добавить такие страницы, которые относятся непосредственно к проверяемому сайту, но имеют отличный от главной страницы адрес. Например страницы поддомена: http://forum.мойсайт.ru.

В поле же Do not check any URLs beginning with this: можно перечислить те ссылки, которые вы хотите исключить из проверки программой Xenu Link Sleuth.

В нижней части расположена кнопка e-mail. Она потребуется в том случае, если вы захотите получить отчет о проделанном анализе на свой e-mail.

Если хотите получить весь отчет сразу по завершению работы приложения выберите этот пункт e-mail report and quit when done.

Пункт e-mail only if there are broken links, отправит отчёт на e-mail только если будут найдены битые ссылки.

И в заключении:

Утилита Xenu незаменимый помощник в вашей работе, однако у программы есть несколько багов. Иногда она плохо работает с русскими title. Адреса сайта находящиеся в в зонах .рф, .рус и прочие, необходимо перед проверкой конвертировать в Punycode.

На этом всё! Удачной работы!

seobird.ru


Смотрите также