Как исправить битую ссылку на сайте

Битые ссылки – это обычные, казалось бы, URL, но вот только одна проблема – они ведут в никуда.

Такие линки не только невероятно раздражают посетителей, но и негативно влияют на ранжирование домена. Рассказываем, как без помощи программистов быстро обнаружить на сайте и исправить неработающие URL.

Что считать битой ссылкой

Битыми ссылками можно назвать абсолютно любые линки, при открытии которых появляется 404-ая страница. В свою очередь, сами битые URL можно разделить на внутренние и внешние. Вас, как владельца сайта, должны волновать, в первую очередь, внутренние – это сломанные ссылки, которые ведут на разные страницы вашего сайта. Внешние же ссылки также представляют проблему, но решить ее в чем-то даже проще: достаточно заменить проблемную ссылку на рабочую, сославшись на другой домен.

Предлагаю разобраться в наиболее негативных последствиях большого количества битых URL.

Происхождение битых URL: что проверить в первую очередь

Битые ссылки могут возникать буквально на пустом месте. Все причины их появления можно свести к трем факторам:

1. Ошибки в адресе ссылки при ручном или автоматическом указании URL. Самый частый подобный сценарий – проблемы со слешем. Многие недооценивают влияние простой черты в конце URL, и это большая ошибка. Обязательно учитывайте ее при указании ссылок и проверяйте, если неожиданно страница оказалась недоступной.
2. Глобальные изменения на сайте – переход на новое доменное имя, изменения дизайна, установка плагинов. Любые действия, связанные с глобальными или частичными изменениями, способны привести к появлению битых ссылок. Даже если вносимые изменения в работу сайта, на ваш взгляд, не представляют опасности, всегда делайте бекап! Распространенный сценарий появления битых линков – установка SSL-сертификата и некорректный переезд на HTTPS-протокол, соответственно.

   Если же на вашем сайте произошли структурные изменения, то обязательно нужно настроить 301-ое перенаправление со старых страниц.

3. Частичное или массовое удаление уже существующих на сайте страниц. Это еще один частый случай появления битых URL. Особенно часто этим грешат магазины, которые, вместо того, чтобы настроить перенаправление на страницу с отсутствующим в наличии товаром, просто удаляют ее.

В чем опасность битых ссылок

Самая главная опасность битых линков – это пессимизация поведенческих факторов и раздражение аудитории.

Вспомните, что делаете вы сами, когда переходите по ссылке, но, вместо информации вам демонстрируется 404-ая страница. Скорее всего, просто закрываете сайт и начинаете искать другой источник информации. Таким образом, наличие большого количества битых ссылок, как минимум, негативно сказывается на метриках «Время на сайте» и «Отказы».

Следующая опасность – потеря трафика. Кроме этого, у каждой ссылки есть специальная «метрика» (в среде оптимизаторов она называется весом). Если речь идет о битой ссылке, то она тоже оказывается обнуленной. Другими словами, ссылочный вес просто не передается.

Еще одна негативная сторона битых URL – поисковики не любят домены с большим количеством таких ссылок. Такие сайты хуже ранжируется и медленнее индексируются. Почему?

Дело в том, что у каждого краулера (поискового робота) имеется собственный лимит по суммарному количеству запросов, который он может отправить в рамках одного домена (число запросов в секунду, например). Если битых URL очень много, то робот просто расходуют такой лимит на пустые страницы, а по-настоящему полезные страницы с контентом вовсе остаются без его внимания.

Как найти битые URL

Обнаружить битые URL можно при помощи нескольких инструментов. Проще всего это сделать в интерфейсе «Яндекс.Вебмастера» или Google Search Console, а также через расширения для браузеров и плагины CMS. Рассмотрим все варианты подробнее.

«Яндекс.Вебмастер»

Открываем «Яндекс.Вебмастер» и выбираем «Индексирование», далее «Обход по счетчикам»:

Теперь нам необходимо отфильтровать результаты таким образом, чтобы мы увидели только те страницы, которые отдают 404-ый код. Для этого кликаем по иконке с изображением воронки:

Выбираем 404-ый код:

Получаем отчет со всеми удаленными страницами:

Google Search Console

Чтобы увидеть битые ссылки в GSC, открываем раздел «Индекс» и выбираем пункт «Покрытие». Откроется анализ покрытия:

Выбираем пункт «Исключено». Теперь устанавливаем сортировку и выбираем 404-ые страницы.

Для этого действуем в следующей последовательности:

Далее кликаем на «Не найдено (404)» – здесь и будут все удаленные страницы:

Найти страницу, на которой обнаружен URL, вы можете вручную.

Google Analytics

К слову про инструменты Google: в Google Analytics также можно обнаружить все битые ссылки, которые есть на вашем сайте. Но в этом случае необходимо точно знать title вашей 404-ой. Обычно это «Страница не найдена» или вариации этого названия.

Для того чтобы найти битые ссылки при помощи GA, открываем «Контент сайта» и выбираем подраздел «Все страницы»:

Указываем название 404-ой страницы (напомню, что на каждом сайте оно разное, но обычно это «Страница не найдена» или «404»):

В некоторых случаях CMS, работающая на вашем сайте, не будет прописывать title 404-ой автоматически. Так что, если вам не удалось найти точное название, таким способом найти битые ссылки не удастся.

Но и здесь есть лайфхак: можно просто экспортировать все трафиковые страницы за интересующий вас период и проверить их код. Для проверки состояния можно использовать любой сервис, позволяющий получить код ответа сервера нескольких страниц сразу.

Ahrefs

Это удобный инструмент, который не только ищет битые бэклинки (внешние ссылки), но и пытается соотнести их с анкорами.

Все сломанные URL Ahrefs собирает в специальном отчете.

Если же вы пользуетесь интерфейсом на русском языке, то указанный отчет можно найти в разделе «Ссылочный профиль». Далее выбираем «Бэклинки» и пункт «Битые».

Netpeak Spider

Нетпиковский «паук» – мой фаворит. Сервис позволяет найти все сломанные URL на вашем сайте буквально в пару кликов. Что немаловажно, он умеет соотносить битые URL с целевым анкором и соответственно целевой страницей.

Чтобы найти битые линки, указываем доменное имя своего сайта в поисковой строке и ждем, пока сайт будет проверен.

Откроется общий отчет, содержащий ошибки, данные по структуре и общую сводку по домену.

Выбираем отчет «Ошибки», затем раздел «Высокая критичность». В нем и будут все интересующие нас данные по битым ссылкам.

Выбираем отчет по ошибке:

Для того чтобы узнать, какие именно URL ссылают на битую ссылку, кликаем по интересующему нас URL правой кнопкой мыши и в контекстном меню выбираем «Входящие ссылки»:

Check My Links

Check My Links – удобное расширение для Google Chrome, позволяющее проверить страницу на наличие битых ссылок.

Особенно удобно, если вы работаете сразу с большим количеством ссылок. Расширение подчеркивает работающие ссылки зеленым, а битые – красным.

Коды ответов HTTP и полные URL-адреса неработающих ссылок расширение отправляет в консоль Google Chrome.

Broken Link Checker

Это функциональное расширение найдет все битые ссылки на странице или на всем сайте сразу.

Когда вы редактируете контент с большим количеством ссылок, такое расширение очень удобно. «Проверка неработающих ссылок» сканирует только выбранную страницу или весь сайт целиком.

Отчет по битым линкам будет готов в течение нескольких минут в зависимости от размеров сайта. Отчет создается напрямую, без установки и запуска каких-либо дополнительных файлов.

Broken Link Checker (плагин для WordPress)

Для вашей CMS можно подобрать подходящий плагин для поиска битых ссылок.

Например, для WordPress рекомендую плагин Broken Link Checker. Он постоянно обновляется, есть неплохая база знаний и довольно большое комьюнити.

Broken Link Checker отслеживает внутренние и внешние ссылки на всех страницах, включая посты, комментарии.

Он учитывает битые изображения и перенаправления. Есть уведомления по электронной почте. Также он предотвращает переход поисковых систем по неработающим ссылкам.

Можно искать «битышей» по прямому URL или анкорному. Редактировать ссылки можно прямо со страницы плагина, не обновляя вручную каждый пост.

Как исправить битые ссылки на сайте

После того, как все сломанные ссылки были собраны, пришло время разобраться с ними по-мужски.

Для начала я советую сделать один общий документ с постраничным перечислением всех сломанных линков. В нем нужно сделать три колонки: главная страница, битая ссылка, ссылка замены.

Такой подход значительно облегчит работу по исправлению сломанных линков на работающие и не даст запутаться.

Заменить неработающую ссылку

Замысел простой – нужно заменить неработающую ссылку на актуальную на всех требующих этого страницах.

Для этого мы заходим на проблемную страницу, смотрим ее адрес и меняем путь ссылки на актуальный вариант:

Для этого логинимся в админке сайта (в используемой CMS) и открываем страницу редактирования записи. Затем меняем URL:

Если же страница вообще перестала быть актуальной, просто удаляем ее:

Если общее количество сломанных URL не превышает нескольких десятков, то справится с этой задачей можно и вручную. Если же битых ссылок очень много, то я советую использовать тот же Netpeak Spider или Ahrefs, так как они не показывают анкоры URL и догадаться об изначальном предназначении ссылки становится немного легче.

Указанный способ – самый эффективный, но он потребует значительных временных затрат.

Необязательно исправлять абсолютно все-все битые ссылки, которые есть на сайте. Достаточно обновить только те страницы, которые приносят самый большой трафик.

Для того чтобы узнать какие страницы самые посещаемые, воспользуйтесь тем же Google Analitics.

Перенаправить с проблемной страницы

Что можно сделать еще, если первый вариант решения проблемы не подходит? Например, сделать перенаправление с проблемной страницы на работающую.

Внимание! Не следует слишком увлекаться внутренней переадресацией, в рамках одного домена. В противном случае могут появиться неприятные последствия.

Например, в виде исключения страницы из индекса или понижения позиций домена в SERP.

Вариант c 301-ым перенаправлением может пригодиться в том случае, когда

• меняется уровень вложенности веб-страниц;
• переименовываются разделы сайта;
• вносятся какие-либо иные изменения в его структурный элемент.

Ваш сайт работает на CMS? Тогда ищите готовый плагин, который позволит настроить редирект страницы без изменений .htaccess.

Для сайта на WordPress рекомендую удобный плагин Redirection. В разделе Add new redirection указываем две ссылки и сохраняем. Все! Редирект настроен.

Удалить битую ссылку

Да, вот так просто. Удалять можно тогда, когда на вашем сайте отсутствуют достаточно релевантные страницы под замену URL. Собственно, здесь уже ничего не поделаешь и лучше удалить, чем плодить битые ссылки.

Восстановить удаленные страницы

Безусловно, битых ссылок может быть очень много, и восстановление каждой страницы может стать нереальной задачей.

В этом случае поступите следующим образом.

В GA посмотрите трафик всех удаленных страниц за последние полгода. Страницы с самой большой посещаемостью просто восстановите. Если контента для них нет, то создайте его заново.

Выводы

Теперь мы точно знаем, что битые URL – это отрицательное явление, способное навредить не только странице, но и всему домену в целом. Их не любят поисковики, они раздражают посетителей. Ухудшение пользовательского опыта – одна из главных проблем битых ссылок.

Решить ее можно, как минимум, при помощи четырех вариантов:

• удалить ссылку;
• сделать перенаправление;
• заменить битый линк на рабочий;
• вручную восстановить удаленную страницу.

Таким образом, всегда можно найти наиболее подходящее решение и сделать сайт удобнее для целевых посетителей.

Что это такое

Если говорить в общем, то битыми называются любые url, при открытии которых пользователи видят 404 ошибку. В свою очередь, broken links делятся на внешние – ведущие на сторонний ресурс, и внутренние – направляющие посетителя на другие страницы вашего сайта.

Чем опасны

Опасность таких урлов заключается в том, что при попадании на них посетитель с большой вероятностью закроет ресурс, что в свою очередь негативно скажется на статистике и поведенческих факторах. 

Вспомните себя, как часто вы остаетесь, когда видите надпись «Страница не найдена»? Также и другие посетители. Неработающие адреса вызывают у них раздражение, тем самым увеличивается число отказов и уменьшается время, проведенное на сайте. 

Еще одна из опасностей 404 url — это потеря трафика. Ссылочный вес просто не передается с неработающих ссылок. 

Откуда берутся

Поиск broken links

Найти битые ссылки на своём сайте можно как с помощью программ, так и с помощью онлайн-сервисов. Далее разберем несколько примеров.

Google Search Console

GSC – это сервис от Гугл, позволяющий отслеживать изменения на ресурсе. Одним из инструментов там является анализ состояния страниц. 

Для того, чтобы проверить наличие 404 url с помощью GSC, необходимо сделать следующее: 

• заходим в аккаунт ресурса в сервисе и выбираем пункт «Покрытие» -> «Полный отчет»;

• здесь нажимаем «Исключено»;

• и видим страницы, которые отдают 404 ответ;

• а также примеры;

Минусом проверки здесь можно считать то, что сервис не показывает местонахождение неработающего урл, если он, например, внешний. Увидеть можно только внутренние страницы. 

Яндекс.Вебмастер

Российский аналог GSC, с похожим функционалом, в том числе и инструментом для поиска битых ссылок. 

Чтобы найти 404 через Y.Webmaster, необходимо:

• заходим в карточку сайта и выбираем раздел «Индексирование», а там «Страницы в поиске»; 

• в открывшейся вкладке выбираем «Исключенные» и ищем пункт «Ошибки HTTP».

• чтобы увидеть сами 404 url, нажимаем “Исключенные страницы” на панели ниже и сортируем по статусу.

Аналогично с Google Search Console Вебмастер не покажет, если ссылка внешняя и где ее искать. Через него можно посмотреть только внутренние нерабочие адреса.

Xenu

Является программой, что, в свою очередь, делает его более удобным для проверки сайта на наличие битых ссылок и поиска их на страницах. 

Для проведения проверки необходимо сделать следующее:

• Запускаем Xenu, добавляем сайт и запускаем проверку.

• Далее необходимо отсортировать url по статусу в столбце “Status”, чтобы 404 были наверху.

• Также можно посмотреть, на каких именно страницах расположена нерабочая ссылка. Для этого кликаем на нее правой кнопкой мыши и выбираем “URL properties”. В самом нижнем поле будет расположен нужный адрес.

Broken Link Checker

Расширение для браузера, позволяющее сканировать как весь сайт, так и отдельные веб-документы на наличие нерабочих url-адресов. 

Как работает BLC:

• Находим и устанавливаем;

• После чего заходим на проверяемый ресурс, открываем плагин и проверка страницы запускается автоматически.

• Также есть возможность полного сканирования. Для этого кликаем “Check All Pages On This Site” и переходим в отдельное окно. Там после проверки будет отображаться результат.

Screaming Frog

Программа с обширным функционалом для технического аудита, в который также входит поиск битых ссылок. Главным преимуществом среди других способов проверки можно назвать общую выгрузку адресов 404 и страниц, на которых они расположены в удобном формате файла. 

Минусом можно считать то, что лимит проверки на бесплатном тарифе составляет всего 500 url, поэтому без приобретения платного пакета подойдет только для маленьких сайтов. 

Как найти ошибки 404 через SF:

• Открываем программу, вставляем адрес и запускаем аудит.

• После выполнения проверки сортируем страницы в столбце “Status Code”, чтобы 404 ошибки сгруппировались вместе.

• Далее выделяем все нужные адреса, на нижней панели нажимаем “Inlinks” и видим наши url и их источники. Там же их можно выгрузить в формате файла.

Здесь можно увидеть как внешние, так и внутренние ссылки с ответом 404, что является максимально удобным способом их обнаружения и устранения.

Dead Link Checker

Онлайн-сервис по поиску “мертвых” страниц. Проверить можно как конкретный адрес, так и весь домен целиком. 

Этапы проверки:

• Заходим на сайт и в поле ввода url добавляем свой. Кликаем “Проверить”. Также будет необходимо ввести капчу.

• После окончания сканирования будет доступен список урл, которые отдают 404 ответ.

Как и у многих таких сервисов, минусом является то, что невозможно посмотреть источник найденных ссылок. 

Как исправить Broken Link?

Обязательно нужно проверить битые ссылки перед стартом SEO продвижения. Без анализа сайта вы рискуете потерять в позициях и трафике. И теперь, когда мы выяснили, как найти нерабочие адреса, стоит поговорить о том, как исключить их со своего домена. 

Заменить неработающий урл

Суть проста – меняем неактуальный адрес на новый, если есть такая возможность. Для этого находим интересующий нас url и его активную версию, если она существует, и меняем одно на другое. Сделать это можно в административной панели. 

Перенаправить с проблемной страницы

Этот способ подойдет только для внутренних ссылок. В этом вам поможет 301 редирект. Он выполнит переадресацию с неработающего урл на действующий. 

Обратите внимание на то, что злоупотреблять перенаправлениями не стоит, так как это может негативно сказаться на позициях и привести к удалению страниц из индекса. 

Если вы все же решили воспользоваться этим способом, в зависимости от CMS можно применить плагин или внести изменения через .htaccess.

Удалить битую ссылку

Самый простой вариант решения проблемы с 404 ответами сервера. Сделать это можно в административной панели. Прибегать к такому способу стоит тогда, когда два других варианта не актуальны в рамках вашего сайта.

Восстановить удаленные страницы

Такой способ подойдет для интернет-магазинов, которые удаляют отсутствующие товары с сайта. Если они снова появились в наличии – просто восстановите документ.

Заключение

Неработающие URL – это отрицательная черта для любого сайта. Они нелюбимы как поисковиками, так и пользователями. Старайтесь следить за этим и вы никогда не потеряете покупателей и позиции.

Ссылки, ведущие пользователей в никуда, – огромная головная боль для любого уважающего себя проекта. Из-за негативного отношения посетителей к подобным ошибкам владельцев сайта, поисковые системы не глядя снижают за них индекс качества. Отслеживать работоспособность всех активных ссылок, особенно когда речь идёт о массивных ресурсах с тысячами страниц, мягко говоря, непросто. Поэтому, зачастую, для анализа их активности используют специализированные сервисы.

Наиболее болезненными битые ссылки бывают в случае работы с онлайн-магазинами. Обширные каталоги включают в себя множество активных внутренних ссылок, ведущих на карточки товаров.

Перенастройка шаблона или движка могут привести к необходимости указания правильных редиректов со старых URL на новые. Однако такие работы сопряжены с определёнными сложностями и рисками. Одна маленькая ошибка способна привести к катастрофическим последствиям и полной недоступности товаров для клиентов.

Если не отслеживать и не устранять такие неисправности, бизнес попросту погибнет, погрузившись с головой в пучину всевозможных фильтров со стороны поисковых систем. Ведь недовольные пользователи приведут к резкому росту числа отказов и снижению поведенческих факторов.

Что такое битые ссылки на сайте?

Обычно, битыми ссылки становятся в тот момент, когда сайт, на который они ведут, перестаёт существовать или оказывается недоступен, в силу тех или иных обстоятельств. При этом, посетители, кликающие по нерабочей ссылке, видят сообщение об ошибке, чаще всего 404-й. Существуют различные виды битых ссылок, например:

• Внутренние – критически важная инфраструктура вашего сайта, оказавшаяся разрушенной. Внутренние ссылки обеспечивают перелинковку страниц между собой, позволяя сайту равномерно распределять свой вес между отдельными текстами. И когда пути соединения разрушаются, ухудшается и восприятие всего сайта поисковыми алгоритмами. Ведь это явный сигнал о заброшенности вашего проекта.

• Внешние – более лёгкие ошибки модерации. Когда внешний ресурс становится неактивным, необходимо удалять или заменять ссылки, ведущие на него. Это особенно актуально, когда речь идёт о лендингах в цепочке продаж. Когда оффер, на который вы сливаете трафик, перестаёт работать, очень важно быстро заменить все коммерческие ссылки на доступные аналоги. 

Независимо от того, внутренние они или внешние, битые ссылки в любом случае сильно вредят вашему сайту. Они снижают лояльность вашей аудитории, раздражают и ухудшают поведенческие факторы.

В идеале, стоит подстраховаться и оснастить все страницы с ошибками различными вариантами дальнейшей навигации. Например, кнопкой, позволяющей вернуться назад или перейти к главной странице. В общем – остаться на вашем сайте. Если не озаботится хотя бы такими элементами навигации на проблемных страницах, трафик будет утекать безвозвратно.

С точки зрения поисковой системы, пара битых ссылок – это ещё не повод принимать серьёзные меры. Но когда их становится много, можете ожидать скорейшего наложения фильтров или банального исключения страниц из органической выдачи. 

Куда ведут битые ссылки и как влияют на SEO?

Основной вред битых ссылок, с точки зрения SEO, заключается в снижении поведенческих факторов и значительном росте показателя отказов. Нарушение внутренней оптимизации, к которой приводят битые ссылки, вызывает неверное распределение ссылочного веса между страницами. Перетягивая на себя часть авторитетности донора, они способны серьёзно потрепать вашу статистику.

Тем не менее, не стоит воспринимать их, как смертный приговор ресурсу. Битым ссылкам часто приписывают невесть какие эффекты и свойства. Например, есть расхожее мнение, что они снижают краулинговый бюджет поисковых ботов. Но это в корне неверно. Об этом говорил сотрудник Google, Джон Мюллер. Исходя из его слов, можно сделать вывод, что повторное сканирование, которое проводится ботом, в случае нахождения битых ссылок, не наносит ущерб краулинговому бюджету сайта.  

Вот только не все неисправные ссылки приведут пользователей на страницу с 404-й ошибкой. И вот это уже проблема, с точки зрения SEO-продвижения сайта. 

Если взглянуть на техническую документацию Google, где разбираются все страницы, наносящие вред краулинговому бюджету, то среди них есть и один из вариантов 404-й ошибки, но только в её «мягкой» форме – 404 SOFT. Такой вариант можно наблюдать в ситуациях, когда вместо сообщения об ошибке, сервер выдаёт HTTP-код с ответом 200 OK. В результате поисковый бот воспринимает её, как актуальную и, соответственно, сканирует.

Таким образом можно бесцельно сливать краулинговый бюджет на несуществующие страницы, вместо того, чтобы добавлять в индекс действующие и полезные. 

Как найти и проверить битые ссылки на сайте?

Если на одностраничниках или совсем молодых блогах вы можете банально вручную прокликать все проставленные ссылки, то для крупных сайтов этот способ просто бессмысленный. Так что придётся воспользоваться услугами сторонних сервисов. Зачастую, они выдают неточные или некорректные результаты анализа, поэтому настоятельно рекомендуется сочетать сразу несколько инструментов для получения более релевантной статистики. 

Инструменты для работы с битыми ссылками могут быть принципиально различными. Это и онлайн-сервисы и предустанавливаемое программное обеспечение, и всевозможные расширения и плагины. Каждый специалист выбирает для себя набор, отвечающий его целям и задачам.

Google Search Console

Зачастую, именно Google Search Console используют в первую очередь. Здесь вам нужно отыскать отчёт о покрытии. Для этого перейдите в раздел «Индекс» и выберете в нём пункт «Покрытие». Укажите в настройках «Статус», действие «Исключено» и код ошибки «404».

В итоговом отчёте окажутся все удалённые страницы. Искать страницы с указанными URL-адресами можно вручную. Если речь не идёт о массовых отказах, использовать отдельные инструменты для этого смысла особого нет. 

Яндекс.Вебмастер

У Яндекс.Вебмастера есть возможность проводить «Обход по счётчикам». Такая функция доступна в разделе «Индексирование». Если отсортировать полученные результаты по коду ошибки и выбрать только те, которые содержат 404, вы получите полноценный отчёт по удалённым страницам. Всё, что в него попадает – нуждается в вашем внимании и определённых ремонтных работах. 

Google Analytics

У поисковой системы Google есть и иные инструменты для работы с битыми ссылками. Одним из них стала Google Analytics. Правда для успешного поиска нужно будет точно знать, какой заголовок указан для страниц с 404-й ошибкой. В большинстве случаев – это «Страница не найдена» или какие-то вариации такого названия. 

Для сбора статистики нужно всего лишь открыть «Контент сайта», выбрать «Все страницы» и в настройках поиска указать название страницы с ошибкой. 

Правда, в некоторых случаях, движок сайта не прописывает автоматически заголовки для страниц с ошибками. Тогда придётся воспользоваться другими способами отлова подобных проблем.

Broken Link Checker

Отличный сервис для онлайн-проверок работоспособности ссылок. Он снискал популярность среди маркетологов и SEO-специалистов. Сервис полностью бесплатный, правда только в том случае, если объём вашего сайта не превышает трёх тысяч страниц. Если вы не укладываетесь в норматив, придётся либо оплачивать проверку, либо ограничиваться анализом только трёх тысяч страниц, причём сервис сам выберет, каких именно. В итоговой статистике, составляющей отчёт о проверке, содержатся:

• код ошибки;

• адрес страницы;

• текст ссылки;

• битая ссылка.

Таким образом вы получаете всю необходимую информацию в одном месте. Этот инструмент идеально подходит для работы с небольшими проектами. 

Netpeak Spider

А это уже полноценное программное обеспечение, которое придётся устанавливать на ваш персональный компьютер. Оно включает в себя широкий диапазон разнообразных возможностей, например: 

• отслеживание основных тегов;

• проверка состояния редиректов;

• сбор общей статистики сайта.

Это лишь несколько вариантов применения Netpeak Spider. Для нахождения битых ссылок, необходимо указать в строке поиска код 404 ошибки и URL-адрес вашего сайта. В отчёте окажутся все ссылки, выдающие в качестве ответа ошибку с заданным кодом.

Check My Links

Расширение для Google Chrome, которое можно использовать в качестве варианта проверки страницы на битые ссылки. Его основная проблема заключается в том, что оно работает только с одной конкретной страницей. То есть просканировать объёмный ресурс им будет крайне проблематично.

Тем не менее, для анализа одной статьи, содержащей большое количество внешних и внутренних ссылок, расширение подходит прекрасно. Коды ответов сервера, содержащие информацию об ошибках, и полные URL-адреса ссылок можно просматривать в консоли Google Chrome. 

Xenu’s Link Sleuth

Полностью бесплатная англоязычная программа. Она позволяет анализировать работоспособность ссылок, захватывая корневую страницу и путешествуя по всем, размещённым ссылкам.

Инструмент включает в себя широкие возможности для настройки фильтров и запуска множества одновременных потоков. Итоговая статистика сводится в HTML-отчёт. 

Как и всё бесплатное, Xenu’s Link Sleuth работает достаточно медленно. Поэтому для проверки крупных ресурсов, такие программные продукты в принципе непригодны. Они помогают редактировать личные страницы и блоги, но когда речь заходит о коммерческих сайтах, интернет-магазинах и прочих масштабных проектах, лучше будет выбрать платный инструмент с высокой производительностью. 

Как исправить или удалить битые ссылки?

После сбора статистики по неработающим ссылкам, приходит время принятия соответствующих мер. Устранение проблемы можно осуществить различными способами.

• Заменить битую ссылку – вручную или с помощью внешнего программного обеспечения. Всё зависит от объёмов работ. Актуализация ссылок – это полезная процедура для сайта. Заниматься ею стоит и помимо ремонтных работ, в случае обнаружения неисправностей. 

• Настройка переадресации – всем известный и широко применяемый 301-ый редирект. Работать с ним будет удобнее, если вы установите готовый плагин. Для WordPress можно взять, например, Redirection. В целом выбрать можно любой инструмент. Самое главное – чтобы он работал без изменений .htaccess. 

• Удалить неисправные ссылки – если они не несут серьёзной полезной нагрузки, вы можете выбрать самый простой и быстрый способ и избавиться от них. Так следует поступить, если речь идёт, например, о внутренней перелинковке. Когда для контента нет достаточно релевантных страниц, добавлять ссылки бессмысленно. 

• Восстановление удалённых страниц – речь идёт о внутренней перелинковке. В процессе роста и развития сайта, часто возникают ситуации, когда какие-то страницы оказываются удалены, а для других настраиваются редиректы или заглушки. Нередко, проще восстановить удалённые элементы сайта и скорректировать их таким образом, чтобы они продолжали соответствовать общей стратегии развития проекта. Особенно, когда они активно участвуют в процессе внутренней перелинковки. Такое бывает: удаляете страницу, считая её бесполезной, а оказывается, что она оказывала ключевое влияние на процесс перераспределения внутреннего веса между наиболее посещаемыми статьями. В такой ситуации наиболее правильным решением будет восстановить её, а не переделывать карту сайта.

Не забывайте о необходимости постоянно мониторить работу сайта и анализировать динамику его статистики. Происходящие изменения всегда подскажут вам, что вы делаете верно, а что – нет.

Представим, что веб-мастер написал статью и поставил ссылку на Википедию. Страницу удалили, веб-мастер об этом не знает, ссылка на его сайте все еще стоит, но теперь ведет на страницу 404. Или представим веб-мастера, который переместил товар в новую категорию или настроил ЧПУ, но забыл сделать редиректы со старых URL. Теперь старые ссылки на товары ведут на несуществующие страницы.

Такие ссылки, ведущие в никуда, называют битыми. Они могут быть внутренними — ведущими на страницы своего сайта, или внешними — на страницы стороннего проекта.

Битые ссылки — это гиперссылки, которые ведут на несуществующие файлы или страницы ресурса.

Страницы отдают серверу код ответа 404 Not Found — он означает, что сам сервер найден, но документа по такому адресу не существует, имя файла в коде и на сервере не совпадает. К примеру, файл на сервере удалили или переместили, и теперь он доступен по новому адресу.

Если таких ссылок на сайте много, становится интересно, может ли это негативно повлиять на SEO и позиции сайта. Разберемся, что об этом говорят представители ПС.

Чем вредны битые ссылки на сайте

Битые ссылки вредят SEO: уводят посетителей, ухудшают поведенческие факторы и увеличивают отказы. Пользователь надеялся получить дополнительную информацию, а по ссылке ошибка — ожидания не оправдались. Если он перешел на страницу, где 404, он может совсем закрыть вкладку с сайтом и пойти к конкурентам.

Такие ссылки участвуют во внутренней перелинковке и нарушают распределение ссылочного веса, перетягивая на себя часть авторитетности донора.

Битым ссылкам часто приписывают лишний негатив. В статьях про краулинг встречается информация, что битые ссылки отрицательно влияют на краулинговый бюджет — ресурсы, которые ПС выделяет на сканирование сайта. Пишут, что краулер потратит лимиты на бесполезный обход битых ссылок и из-за этого проигнорирует важные страницы.

По словам Джона Мюллера, сотрудника Google, это не так: 4хх ошибки не приводят к снижению краулингового бюджета. Бот повторно сканирует эти страницы, чтобы убедиться, что они закрыты, но делает это не в ущерб остальным страницам.

Еще Джон Мюллер отмечает, что неважно, сколько страниц с ошибками 404 есть на сайте, фактом своего наличия они не могут снизить рейтинг остальных страниц.

4хх ошибки не крадут бюджет краулера.

Но это касается не всех страниц 4хх. В блоге Google перечисляют страницы, которые негативно влияют на распределение бюджета, и среди них есть «мягкие страницы ошибок», то есть 404 SOFT.

404 SOFT возникают, если для несуществующей страницы сервер должен ответить кодом 404 или 410, а вместо этого отвечает HTTP-кодом ответа 200 OK. В таком случае краулер воспринимает страницу как обычно, сканирует ее и тратит краулинговый бюджет вместо обхода действительно важных страниц.

Ошибки 404 SOFT тратят краулинговый бюджет.

Большое количество страниц 404 точно не принесет никакого положительно эффекта, а навредить может, поэтому лучше их исправить. Найти страницы 404 помогут специальные сервисы и инструменты.

Как искать битые ссылки

Для совсем небольших сайтов можно обойтись ручным способом — пролистать все страницы и посмотреть все ссылки на сайте или посмотреть ссылки из выдачи ПС по запросу «site: вашсайт.ру»

Сервисы могут показывать неточные результаты, так что комбинируйте несколько инструментов, чтобы найти как можно больше страниц с ошибками.

Google Search Console

Страницы с ошибками консоль отображает в разделе «Сканирование» — «Ошибки сканирования».

В консоли перечислены ссылки на момент последнего обхода сайта краулером, поэтому в режиме реального времени отследить ссылки не получится.

Удобно отслеживать 404 ошибки можно с помощью Google Tag Manager. Как это сделать — в руководстве.

Яндекс.Вебмастер

Сервис отображает битые ссылки в разделе «Внутренние ссылки» — «Неработающие внутренние ссылки на сайте». Он покажет примеры внутренних неработающих ссылок по данным последнего обхода сайта ботом Яндекса.

Online Broken Link Checker

Англоязычный онлайн-инструмент для проверки битых ссылок. Бесплатно проверяет до 3000 страниц, смотрит только HTML-документы, то есть ссылок на изображения, видео и другое мультимедиа не будет.

Если вам нужно просканировать больше страниц, проверить подпапки (URL-адреса с /) или отдельные страницы, экспортировать результаты в MS Excel, авторы инструменты предлагают связаться с ними.

Netpeak Spider

Русскоязычная программа для анализа ссылок на сайте. Есть бесплатная версия со всеми функциями, но без возможности копировать, экспортировать и сохранять отчёты.

(Пример анализа сайта программой: netpeak spider ru screen.jpg)
Спайдер анализирует неограниченное количество URL на предмет битых ссылок, картинок, редиректов, а также имеет дополнительные возможности — формирование интерактивных отчётов, интеграции с GA, GSC и Яндекс.Метрика, мульти-доменное сканирование, проверка AMP и разметки и многое другое. Стоит 374,40 долларов в год.

Xenu’s Link Sleuth

Бесплатная англоязычная программа для анализа ссылок на сайте. Инструмент захватывает корневую страницу и проверяет ее, переходя на отдельные ссылки для поиска ошибок. Есть настройка работы программы с фильтрами и количеством одновременных потоков проверки.

После завершения проверки Xenu’s Link Sleuth генерирует HTML-отчет с результатами.

Работает бесплатно, но проверка больших ресурсов занимает довольно много времени.

Screaming Frog

Англоязычная программа для анализа ссылок на сайте. Есть бесплатная версия с проверкой 500 страниц.

Платный тариф открывает неограниченное количество страниц для анализа и дополнительные возможности — формирование отчетов, интеграцию с GA, сканирование и проверка AMP и разметки и другие. Стоит 149 евро в год.

Broken Link Checker, плагин для WordPress

Плагин отслеживает ссылки на страницах сайта — в блоге, комментариях и меню — и оповещает веб-мастера через панель инструментов или по электронной почте о том, что ссылка стала битой. Настройки позволяют работать с этими ссылками — запрещать поисковым ботам переходить по ним, менять и исправлять ссылки внутри плагина, не редактируя сам пост.

Доступен бесплатно, есть русификация.

Расширение Check My Links для Google Chrome

Оно подходит для проверки конкретных страниц, позволяет наглядно увидеть местоположение ссылок и их вид.

После установки расширения в браузере в правом верхнем углу появится иконка. Перейдите на нужную страницу, где будете анализировать ссылки, и кликните на иконку. Расширение проверит ссылки, выведет счетчик и подкрасит ссылки цветами. Ссылки, ведущие на страницы 404, будут красными.

Расширение работает бесплатно, но подходит для небольших сайтов или работы с конкретными страницами.

Как проверить код ответа сервера на странице

Узнать, какой код ответа возвращается по URL, к примеру, можно с помощью инструмента проверки URL в консоли веб-мастера.

На странице может быть 404, потому что на ней слишком мало контента, ссылки на ней ведут на недоступные ресурсы, запрещенные к доступу в robots.txt. Или ресурсов наоборот слишком много, они много весят и слишком долго обрабатываются.

Проверить внешние ссылки на сайт можно с помощью сервиса Анализ сайта. Он посчитает их количество, оценит доли SEO- и естественных ссылок, а новые ссылки соберет в список и покажет анкоры.

Попробовать сервис

Что делать с битыми ссылками и несуществующими страницами

Итак, с помощью сервисов вы нашли ссылки, которые ведут на недоступные страницы. Варианты дальнейших действий зависят от самой ссылки.

Внешняя битая ссылка

Ссылка с вашего сайта ведет на сайт партнера, но конечная страница не работает. Найдите такие ссылки и удалите, если содержание не пострадает, или замените на актуальные. Если это коммерческая ссылка, которую нельзя удалить и заменить, свяжитесь с партнером и скажите о проблеме с его ресурсом.

На поиске ссылок на страницы 404 на чужих сайтах базируется один из методов получения обратных ссылок. Веб-мастеры отслеживают трафиковые статьи по своей теме, находят в материале ссылки, которые ведут на 404, и пишут свои посты на эту тему. Потом они пишут автору блога и предлагают заменить битую ссылку на их материал. Выигрывают обе стороны: веб-мастер получает ссылку на свой сайт, а автор блога закрывает битую ссылку хорошим материалом и не отправляет пользователей читать несуществующую страницу.

Внутренняя битая ссылка

Что делать с битыми ссылками внутри своего сайта, варианты:

1. Если страницу по ссылке удалили случайно, восстановите ее.
2. Замените битую ссылку в тексте актуальным линком на страницу.
3. Если существует страница с аналогичным контентом по новому адресу, к примеру, если вы переместили товар в другую категорию с изменением URL, настройте 301 редирект.
4. Если замены для такой страницы нет, удалите ссылку.

Почитать по теме:
Как удалить устаревший контент из поисковых систем Яндекс и Google

Что делать с недоступными страницами

Даже если вы удалите все ссылки на несуществующие страницы, они все равно будут появляться — пользователь ошибется в адресе, произойдет технический сбой или что-то еще, поэтому рекомендуем сделать настройку.

Страница с ошибкой должна возвращать код ответа 404 (недоступно) или 410 (удалено), но не 220 ОК. Код 410 сервер посылает, если ресурс удален и недоступен, а расположение копии неизвестно. Если документ может быть восстановлен, то лучше передать 404.

Стандартная страница 404 побуждает закрыть вкладку. Настройте свою страницу 404, чтобы возвращать пользователей на сайт и направлять на целевые страницы. Разместите на ней навигацию к работающим разделам сайта, ссылку на главную или что-то смешное и интересное. Это позволит вернуть пользователей к работе с сайтом и оставить хорошее впечатление о компании.

Следующий шаг — разобраться со страницами, которых не существует. Ссылки на них все еще могут быть в индексе ПС, поэтому их нужно удалить.

Как удалить несуществующие страницы из индекса

Удалить страницы из индекса можно через панели веб-мастеров Яндекс и Google.

Чтобы страница удалилась из индекса, сервер при обращении к ней должен возвращать ошибку 404. Если страница существует, но не должна участвовать в поисковой выдаче, закройте ее от индексации правилами robots.txt или мета-тегом noindex.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Статья из блога АРТИЗАН-ТИМ

Появление неработающих ссылок на сайте — процесс вполне естественный, и поисковики учитывают этот факт. Но в большом количестве страницы 404 Page Not Found становятся ощутимым недочетом внутренней оптимизации, что негативно сказывается на ранжировании и позициях в выдаче. О том, как не запустить свой сайт и эффективно решить проблему битых ссылок при помощи полностью бесплатных инструментов — рассказываем в нашей статье.

Откуда берутся битые ссылки?

Битые ссылки — это ссылки, ведущие на несуществующие страницы, которые отдают ошибку 404. Они бывают двух типов — внешние (ссылающиеся на неработающие страницы других ресурсов) и внутренние (существующие на разных страницах одного сайта).

Повторимся, битые ссылки естественны для экосистемы интернета. Отдельные страницы и целые сайты периодически удаляются, и ссылки на них превращаются в код ответа 404. В умеренном количестве это принимается во внимание поисковыми краулерами и не чревато проблемами с SEO, а для пользователей сгладить негативный эффект от 404-х страниц всегда можно при помощи кастомного дизайна с юмором и забавным оформлением.

Куда большую опасность для поискового продвижения представляет резкое увеличение числа битых линков. Такой «взрыв», обычно, касается только внутренних ссылок и происходит по нескольким причинам:

Ошибки при глобальной реорганизации сайта. Проведение редизайна с изменением структуры сайта, переформатирование каталога, перенос проекта на новый домен или переезд на HTTPS-протокол, — все эти мероприятия связаны с изменением URL-адресов страниц. Без грамотной постраничной настройки 301-х редиректов (перенаправлений со старых страниц на новые) неизбежен «взрыв» битых ссылок.

Удаление разделов сайта или отдельных документов. Подобный сценарий типичен для онлайн-магазинов, у которых структура пребывает в постоянной динамике — появляются новые товарные группы, разделы и подразделы, а старые удаляются. При этом ссылки на пропавшие страницы остаются в других разделах сайта.

Программные ошибки CMS. Массовое увеличение битых ссылок нередко происходит в результате сбоев в модулях системы управления контентом. Также причиной может становиться человеческий фактор, когда вебмастер по неосмотрительности или недостаточной компетенции генерирует множество некорректных URL-адресов.

Как битые ссылки вредят SEO?

Большое количество неработающих ссылок — бомба замедленного действия для поискового продвижения. И вот почему.

Ухудшение поведенческих факторов. Попав на страницу 404, пользователь сразу же покинет ее. Таким образом несуществующие страницы накручивают показатели отказов и снижают среднее время взаимодействия с сайтом.
Подрыв поисковой репутации. Постоянно попадая на несуществующие страницы, поисковые роботы сделают вывод, что имеют дело с запущенным и некачественным сайтом, которому не место в топе выдачи.
Пустой расход краулингового бюджета. Поисковые роботы имеют лимит на количество документов, которые способны просканировать за один обход. Тратя бюджет на переходы по битым ссылкам, краулеры могут долго не отправлять в индекс действительно важные страницы.
Неэффективное перераспределение ссылочного веса. Все внутренние ссылки на сайте обмениваются статическим весом. Чем эффективней отлажен данный процесс, тем лучше ранжируется сайт. Битые линки в этом случае становятся брешью, через которую ссылочный вес просто уходит в никуда.

Как искать неработающие ссылки

Находить битые ссылки на сайте можно по-разному. Далее мы подробно расскажем о тех способах, которые не требуют платного софта и гарантируют максимально точную проверку. В обзор включены 100% бесплатные инструменты — без триалов, ограничений по количеству проверок и без урезанного функционала.

Яндекс.Вебмастер

Проверить сайт на битые ссылки можно в Яндекс.Вебмастере. Для этого нужно открыть панель управления и перейти в разделы «Индексирование» — «Статистика обхода».

Далее, переключиться на вкладку «Все страницы», в фильтре «Код ответа» выбрать 404 Not Found и нажать «Применить».

Список проблемных ссылок можно выгрузить в формате XLS или CSV таблиц.

Google Search Console

Аналогичную процедуру можно провести с помощью Google Search Console. Здесь работает следующий алгоритм действий. Заходим в панель управления, переходим в разделы «Индекс» — «Покрытие», и во вкладке «Ошибки» получаем развернутый отчет о текущих недочетах на сайте.

Xenu Link Sleuth

Проверенный инструмент для эффективного поиска битых ссылок. Xenu Link Sleuth — это полностью бесплатная программа, устанавливаемая на ПК. По функциональным возможностям она является полноценным аналогом таких популярных коммерческих анализаторов как Netpeak Spider или Screaming Frog SEO Spider.

Несмотря на то, что Xenu не обновляется с 2010 года, она по-прежнему ценится многими специалистами как многофункциональный инструмент для всестороннего аудита внутренней структуры сайта. Помимо поиска неработающих ссылок с ее помощью можно решать много других SEO-задач:

• автоматически генерировать Sitemap;
• находить страницы с большой задержкой отдачи;
• фильтровать документы с неуникальными тайтлами;
• искать страницы с большим уровнем вложенности;
• смотреть статистику внутренних и внешних ссылок по конкретной странице;
• искать картинки с непрописанным атрибутом alt, оптимизируя изображения на сайте.

При всех своих возможностях программа предельно проста в освоении. Из относительных недостатков — устанавливается только на Windows.

Netpeak Spider

Десктопная программа, которая отлично подходит для регулярной проверки проектов. Функционал системы очень богат и позволяет провести полноценный всесторонний технический аудит сайта. Приятный и интуитивно понятный интерфейс позволяет очень быстро разобраться с возможностью программы и внедрить в работу собственного отдела интернет-маркетинга. Имеется бесплатный период в 2 недели. Официальный сайт netpeaksoftware.com

LinkChecker

Ссылочный валидатор со свободной GPL-лицензией. Инструмент доступен в виде десктопной программы. С его помощью можно проверить ссылки как на отдельных страницах, так и полностью просканировать весь сайт. В отличие от Xenu Link Sleuth этот софт можно использовать не только на Windows, но и на Linux или MacOS. Из недостатков: придется потратить время на то, чтобы разобраться с инсталляцией и понять, как работает программа. Интерфейс на английском.

Screaming Frog SEO Spider

SEO фрог – это известный каждому оптимизатору инструмент для проведения анализа сайта. Программа устанавливается на компьютер, бесплатная версия имеет ограничение на 500 проверяемых урлов. Отлично подходит для владельцев сайтов, которые занимаются самостоятельным продвижением собственного проекта. В случае больших команд обязательно необходима покупка лицензии.

Brokenlinkcheck

Среди онлайн-инструментов для поиска битых ссылок лучшим из решений, пожалуй, является сервис www.brokenlinkcheck.com. Сразу отметим, что это условно бесплатный инструмент, но с весьма привлекательными условиями пользования. Free-версия предусматривает бесплатную проверку 3000 страниц сайта без ограничений в количестве сканируемых ссылок. Для использования инструмента на потоке такого лимита окажется недостаточно, но он отлично подойдет тем, кто хочет провести единоразовый аудит собственного проекта.

Сервис максимально прост, понятен и не требует регистрации. Все что нужно — ввести адрес интересующего сайта и запустить сканирование. Алгоритм подготовит развернутый отчет, в котором будет представлена информация не только по внутренним, но и внешним URL. Валидатор с высокой точностью определит битые ссылки и покажет, где именно находятся проблемные элементы в вашем HTML-коде.

Broken Link Checker — плагин для WordPress

Разговор о ссылочных валидаторах был бы неполным без затрагивания темы плагинов для WordPress. Лучшим бесплатным решением в этом вопросе единогласно считают модуль Broken Link Checker. Он не самый простой в освоении, но потратить время на то, чтобы разобраться в нем — точно стоит, если вы владелец сайта на WordPress. Основное назначение плагина поиск и отслеживание битых ссылок. Он сканирует весь контент на сайте, включая комментарии, блогроллы, содержимое пользовательских полей и т.д., уведомляя о наличии выявленных проблем в панели управления или по почте. Помимо этого плагин обнаруживает недоступные изображения и ошибочные редиректы. Редактировать битые ссылки можно прямо из панели модуля, что значительно ускоряет работу.

Что делать с битыми ссылками?

Имея список страниц с неработающими URL, устранить имеющиеся ошибки можно несколькими способами.

Исправление внешних ссылок

1. Если страница, на которую вы ссылаетесь, продолжает существовать, но по каким-то причинам ссылка перестала работать — достаточно просто заменить линк.

2. Когда речь идет о купленной ссылке, которую нельзя деактивировать или заменить, нужно связаться с администратором сайта и совместно прояснить ситуацию.

Исправление внутренних ссылок

1. Если страница была удалена непреднамеренно — ее восстанавливают, и ссылка начинает работать заново.

2. В большинстве случаев неработающие ссылки просто заменяют на новые, если страницы на которые вы ссылались до этого продолжают существовать на сайте или у них имеются аналоги.

3. Если ссылки не работают из-за опечаток, допущенных в написании URL, их можно отредактировать вручную.

4. Еще один вариант решения проблемы — настройка 301-х редиректов с удаленных документов на другие релевантные страницы.

5. Самый радикальный подход к решению проблемы — простое удаление неработающих ссылок.

Мониторинг битых линков целесообразно проводить постоянно. Он особенно важен, если в структуру сайта вносились изменения, затрагивающие URL-адреса, проводились общие технические работы или удалялось много страниц. С представленными в обзоре инструментами такой аудит не займет много времени и обеспечит 100% результат без трат на коммерческий софт.

Поисковые системы совершенствуют алгоритмы ранжирования и стараются выводить в результатах поиска наиболее качественные ресурсы, отвечающие запросам пользователей. Соответственно, владельцы сайтов вкладывают много сил, чтобы именно их ресурсы занимали наивысшие позиции. Давайте представим, что вы ищете беговые кроссовки из последней коллекции известного бренда. Вы кликаете по нужной ссылке в результатах поиска и попадаете не на страницу магазина с желаемым товаром, а на экран с печальной надписью «404 Not Found», «Страница не найдена», «Нет такой страницы» и все в таком духе.

Страница 404 на примере Google

Такая ситуация может случиться и при переходе по внутренним ссылкам сайта. Давайте разберемся, почему так происходит и как с этим бороться.

Что такое битые ссылки

Битая ссылка – это гиперссылка на страницу, адрес которой был изменен или она была удалена с сайта. Иными словами, по данному адресу страницы больше нет, и при запросе к серверу он возвращает код ответа 4xx Client Error: чаще всего «404 Not Found» и в редких случаях – «410 Not Found» (окончательное удаление адреса из индекса поисковых систем).

На несуществующие страницы могут вести ссылки на самом сайте (внутренние битые ссылки) или размещенные на сторонних ресурсах (внешние битые ссылки). Одна из базовых задач по оптимизации веб-ресурса заключается в регулярной проверке на наличие битых ссылок и их устранение.

Как появляются битые ссылки

Причинами появления ссылок на несуществующие адреса являются:

• удаление контента из-за его неактуальности;

• изменение URL-адреса;

• ошибки в настройке веб-сервера;

• технические ошибки на сайте;

• специальный/случайный ввод в адресную строку браузера несуществующих адресов.

Рассмотрим их подробнее.

Удаление неактуального контента

Часто возникают ситуации, когда какие-то товары, услуги, а иногда и целые разделы сайта становятся неактуальными: например, в случае обновления ассортимента. Многие владельцы сайтов просто удаляют такие страницы. При этом они забывают, что на них могут вести внутренние или внешние ссылки. После удаления страниц они автоматически станут нерабочими, притом что часть этих страниц могла бы ранжироваться в поисковых системах на хороших позициях.

В итоге пользователь перейдет по такой гиперссылке и увидит экран с ошибкой:

Хорошо, когда страница 404 содержит дополнительное пояснение о том, что страница была перемещена или удалена

Поэтому важно следить, чтобы внутри сайта не оставалось нерабочих ссылок. А при удалении по возможности заранее настраивать 301-й редирект на актуальную или максимально близкую по содержанию страницу.

Изменение адреса/структуры

Контент-менеджеры сайтов часто не имеют технических навыков. Из-за этого возникают ситуации, когда они пытаются изменить заголовок страницы или название ссылки на страницу из меню. Из-за особенностей движка сайта или случайной ошибки меняется URL-адрес страницы. Это означает, что по старому адресу страница стала недоступной и все ссылки на нее автоматически будут отдавать 404-ю ошибку.

Например, была страница с адресом https://site.ru/novosti/novost-1/, а после правок заголовка контенщиком адрес изменился на https://site.ru/novosti/samaya-svezhaya-novost-1/.

Другая ситуация – изменение адреса из-за смены родительского раздела. Она происходит, когда вы меняете структуру, переносите страницу из одного раздела в другой. Например, на сайте в разделе «Обувь» изначально было деление по типу обуви: ботинки, кроссовки, туфли и т. д., а потом уже на мужские, женские, детские. Соответственно, товар имеет привязку:

https://site.ru/obuv/krossovki/muzhskie/tovar1/

Вы решили сделать сначала деление по полу, а потом уже по типу обуви. Следовательно, адрес товара в разделе приобретет вид https://site.ru/obuv/muzhskaya/krossovki/tovar1/

Или же решили добавить дополнительные подкатегории по сезону: https://site.ru/obuv/krossovki/muzhskie/zimnie/tovar1/

Во всех этих случаях происходит одно и то же: по изначальному адресу страница перестает существовать, все ссылки на нее становятся битыми.

Технические ошибки на стороне сервера

К появлению 404-х ошибок на сайте могут приводить и некорректные настройки веб-сервера. Например, когда движок сайта использует ЧПУ (человекоподобный URL), а сервер не настроен на переадресацию входящих запросов. Или когда при переходе сайта на защищенный протокол не было настроено перенаправление с http на https. Также причиной ошибок может служить кэширование страниц на стороне сервера перед выдачей клиенту.

Случайные ошибки и человеческий фактор

Никто не застрахован от ошибок. Достаточно опечатки в одну букву, чтобы получить нерабочую гиперссылку. Поэтому каждый раз после обновления контента важно проверять работоспособность перелинковки.

Программы для проверки битых ссылок на сайте

Как часто нужно проводить поиск битых ссылок и с помощью чего это делать? Мы рекомендуем регулярные проверки, не реже 1 раза в месяц. Если контент вашего ресурса обновляется часто, проверки можно проводить более регулярно: например, для новостных сайтов раз в неделю.

Рассмотрим наиболее популярные программы для поиска битых ссылок:

• Screaming Frog SEO Spider Tool. Программа имеет широкий спектр настроек и анализирует много параметров, в том числе показывает, на каких страницах и какие ссылки битые. Подходит для анализа не очень больших сайтов, т.к. даже платная версия имеет ограничение по количеству сканируемых URL-адресов. В бесплатном варианте вы сможете проверить лишь 500 УРЛов.

• Netpeak Spider. Также очень удобная платная программа с большим набором параметров для анализа.

• Xenu’s Link Sleuth. Программа предназначена только для операционной системы Windows и имеет свои недостатки, но является бесплатной.

• Majento SiteAnalyzer. Также бесплатная программа для анализа вашего сайта.

Онлайн сервисы проверки битых ссылок на сайте

Онлайн-сервисы — их достаточно много, но не все хорошо справляются со своей задачей. Отмечу несколько достойных вариантов:

• Online Broken Link Checker. Имеет бесплатную версию для проверки до 3000 URL, но с ограничениями и без возможности экспорта результатов. Коммерческая версия обладает более широкими возможностями, плюс есть возможность персональной настройки.

• Deadlinkchecker. Сервис дает проверить бесплатно до 2001-й ссылки.

Проверка битых ссылок в «Яндекс.Вебмастере» и «Google Search Console»

Нельзя не сказать про отслеживание внутренних и внешних битых ссылок на сайте с помощью сервисов «Яндекс» и Google для вебмастеров. В панелях «Яндекс.Вебмастер» и Google Search Console вы сможете увидеть страницы с 404-й ошибкой, которые были исключены из индекса, проанализировать, что явилось причиной их появления и принять решение о необходимости их исправления.

Так это выглядит в «Яндекс.Вебмастере»:

Проверяем 404-е страницы в разделе «Страницы в поиске» меню «Индексирование»

А вот так в Google Search Console:

Проверяем 404-е страницы в разделе «Покрытие» меню «Индекс»

Как исправить битые ссылки

Для исправления битых ссылок рекомендуется следующее:

1. Обязательная замена внутренних ссылок на работающие или их удаление.

2. Настройка 301-го редиректа с несуществующего адреса на актуальную страницу или максимально близкую по содержанию. Этот вариант рекомендован, если удаленная/перенесенная страница находилась в продвижении, приносила трафик или на нее идет ссылочный вес, который вы хотели бы сохранить и перенаправить на другой адрес.

Не забывайте проводить регулярные проверки на работоспособность внутренних ссылок, это повышает доверие к ресурсу ваших посетителей и поисковых систем.

Опасны ли битые ссылки и нужно ли с ними бороться?

Влияют ли битые ссылки на ранжирование интернет-ресурса? Напрямую – нет, потому что не существует такого фактора ранжирования, когда за подобные ссылки вы однозначно получите понижение позиций. Однако это не значит, что битые ссылки на сайте никак не скажутся на результатах вашего продвижения.

Битые ссылки можно сравнить с дверью, за которой пользователь натыкается на кирпичную стену. Это явно не добавляет ему расположения к сайту. А что если таких ссылок достаточно много и посетитель за одно посещение сталкивается с несколькими из них или ваша страница 404 ничего об это не говорит, а представлена в стандартном варианте?

Для рядового пользователя написанное будет ничем не лучше иероглифов по понятности

После такого большинство посетителей просто закроет вкладку и покинет сайт раз и навсегда, так как вы не открыли перед ним другие «двери». Упущенный клиент, упущенная выгода, прерванная сессия повлекут за собой ухудшение поведенческих факторов. А поведенческие факторы, в свою очередь, имеют весомое значение для ранжирования интернет-ресурса в поисковых системах.

Страница 404 сайта kokoc.com: визуальная и текстовая часть максимально дружелюбно сообщают пользователю о том, случилось и как решить проблемы

Битая ссылка на сайте ведет в тупик — на несуществующую страницу. Пользователи кликают по ней, видят сообщение об ошибке и уходят. С точки зрения SEO, неработающие ссылки на сайте – не просто мелкая техническая оплошность, они ухудшают поведенческие факторы и влияют на ранжирование сайта в поисковых системах. Разберемся, откуда берутся мертвые линки, как их найти и что с ними делать?

Содержание

1. Что такое битые ссылки

2. Как появляются нерабочие ссылки

3. В чем опасность битых ссылок

4. Программы для проверки битых ссылок на сайте

5. Онлайн-сервисы для проверки битых ссылок на сайте

6. Проверка битых ссылок в панелях вебмастеров

7. Как исправить битые ссылки

8. Что делать с битыми ссылка на чужих сайтах

9. Выводы

Что такое битые ссылки

Битая ссылка — это нерабочая ссылка с HTTP-статусом отличным от 2XX или 3XX. Битые ссылки ведут на URL, которые невозможно открыть. Чаще всего вместо страницы пользователь видит ошибку 404 Not Found, надпись «Страница не существует» или другую произвольную фразу. Ошибка 404 — это стандартный код ответа сервера, сообщающий, что по указанному адресу HTML-страницы не существует. Иногда появляются ошибки с другими кодами, например, 410 Not Found.

Такие линки могут быть внутренними, то есть вести с одной страницы сайта на другую, или внешними, ведущими на другой веб-ресурс. И те, и другие одинаково не нравятся пользователям и поисковым системам.

Пользователей раздражает, когда вместо нужной страницы они видят код 404. Поисковики замечают и учитывают поведение пользователей при ранжировании сайта.

Как появляются нерабочие ссылки

Гиперссылки на несуществующие страницы могут появиться из-за технических проблем, невнимательности контент-менеджера, из-за глобальных изменений в структуре проекта.

Удаление неактуального контента

На многих сайтах приходится удалять неактуальный контент. Несколько примеров:

• В интернет-магазине меняется ассортимент. Устаревшие карточки или целый раздел с товарами отправляются в корзину.

• Компания перестала оказывать часть услуг, ненужный контент удаляется.

• На портале развлечений становятся неактуальными страницы с анонсами прошедших выставок, кинопремьер, праздников.

• На инфосайте удаляются старые новости или статьи с нулевой посещаемостью.

• Компания прекращает сотрудничество с агрегатором, информация о компании снимается с публикации.

• Удаляется спонсорский материал, который был по договору размещен в интернет-СМИ на определенный период.

Эти документы некоторые время остаются в индексе поисковых систем, пользователи пытаются зайти на них из результатов выдачи Яндекса или Google и получают сообщение об ошибке.

Но даже когда страницы выпадают из индекса, на сайте могут остаться ссылки на удаленный документ или раздел. Пользователь может перейти туда из меню, с внутренних страниц, из блоков сопутствующих товаров.

Проблема может возникнуть на сайтах с ручной перелинковкой, если ссылка вписана в текст, а страница-реципиент удалена.

Изменение адреса или структуры URL

Не всегда удается на старте создать универсальную структуру и сохранять ее на протяжении всей жизни проекта. Часто приходится вносить изменения: дробить разделы, добавлять новые категории и удалять старые.

Считается, что лучше менять структуру без смены URL. Но не всегда удается выстроить новую иерархию и при этом сохранить прежние адреса.

Если поменять URL разделов и подразделов, адреса существующих страниц тоже могут измениться. Если не настроить редирект, то старые URL будут выдавать ошибку 404 Not Found.

Приведем пример. В интернет-магазине косметики продается набор теней для глаз. Товар находился по адресу: https://site.ru/dekorativnaya/teni

SEO-специалист решил добавить подкатегории «для глаз», «для губ», «для бровей». Адрес изменился: https://site.ru/dekorativnaya/dly-glaz/teni

Ссылка на прежний URL ведет на несуществующую страницу. Чтобы этого не произошло, нужно настроить 301 редирект и на всем сайте заменить неактуальные ссылки на новые.

Технические ошибки

Иногда «мертвые» ссылки появляются из-за технических проблем на веб-ресурсе, например, из-за некорректной работы плагинов или сервера.

К появлению ошибки 404 может привести неправильная настройка сервера, когда входящие запросы не переадресовываются на нужный URL.

При настройке SSL-сертификата важно настроить перенаправление с http на защищенный протокол https. Если этого не сделать, возникает ошибка.

Случайные ошибки

Бывает, что URL меняется из-за банальной ошибки контент-менеджера, когда адрес вводится вручную или автоматически. Иногда виноват человеческий фактор: одна ошибка в URL — лишний слэш или пропущенная буква, и гиперссылка становится нерабочей. Поэтому при работе с контентом важно вручную проверять, куда ведет каждая гиперссылка.

В чем опасность битых ссылок

В SEO неработающие ссылки не считаются прямым фактором ранжирования, но косвенно влияют на позиции сайта в поисковых системах.

• Когда пользователь переходит по битой ссылке, он чаще всего покидает сайт. Даже если страница 404 ошибки грамотно оформлена (на ней расположено меню или гиперссылка на главную), это не спасает положение. В результате портятся поведенческие факторы: растут отказы, сокращается время на сайте, уменьшается глубина просмотров. Поисковые системы учитывают ПФ при ранжировании. Одна битая ссылка вряд ли сделает погоду, но если нерабочих ссылок много, поведенческие факторы заметно ухудшаются, а позиции сайта снижаются.

• Страдает ссылочный профиль. Если перелинковка мертвая, она не работает, ссылочный вес не передается другим страницам.

• Существует SEO-теория: когда поисковые роботы переходят по таким линкам, расходуется краулинговый бюджет, и индексация сайта замедляется. Считается, что поисковый робот (краулер) сканирует ограниченное количество страниц. Если он сканирует несуществующие документы, бюджета может не хватить на работающие страницы.

• И, наконец, самое очевидное и важное последствие — упущенная выгода. Если битая ссылка ведет на карточку товара или продающий текст, сайт теряет потенциальных покупателей или заинтересованных клиентов. Они были готовы сделать покупку, но наткнулись на 404 ошибку и ушли ни с чем.

Программы для проверки битых ссылок на сайте

Невозможно проверить все гиперссылки вручную, особенно если проект большой. Существуют десктопные программы, которые оказывают помощь в решении этой задачи. Чтобы с ними работать, их нужно скачать.

Screaming Frog SEO Spider

Программа Screaming Frog SEO Spider («Лягушка») скачивается на компьютер. В бесплатной версии можно просканировать до 500 URL, в платной количество не лимитировано. Это программа комплексного аудита сайта.

Робот анализирует перенаправления, заголовки, метаданные, файл robots.txt и другие SEO-параметры. «Лягушка» показывает редиректы, визуализирует структуру проекта, находит неработающие ссылки, ошибки сервера и решает много других задач.

После сканирования ищите информацию о ссылках во вкладке «Internal». Отфильтруйте ее по «Status Code». Программа покажет все 404 ошибки. Отчет можно скачать на компьютер. Он содержит информацию о наличии неправильных ссылок, их расположении, текстах анкоров, директивах.

Netpeak Spider

Netpeak Spider — еще одна хорошая программа комплексного аудита сайтов. Она платная, но после регистрации аккаунта предоставляется бесплатный 14-дневный пробный период.

Программа работает как поисковый робот: находит ссылки, переходит по ним, определяет код ответа сервера. Если обнаруживает 404 ошибку, добавляет URL в список. Этот отчет можно выгрузить на компьютер (раздел «Специальные отчеты»). В отчете содержится адрес, где находится битая ссылка, анкор, целевой URL c 404 ошибкой.

По умолчанию программа находит только внутренние проблемные линки. Чтобы спарсить внешние ссылки, нужно отметить эту опцию в настройках сканирования.

Xenu’s Link

Бесплатная десктопная программа. Проводит сканирование, составляет список, отмечает красным неработающие линки.

Xenu’s Link определяет анкор, страницу донора и реципиента. После сканирования создает удобный отчет.

Онлайн-сервисы проверки битых ссылок на сайте

Онлайн-сервисы удобны тем, что их не нужно устанавливать на компьютер, они не расходуют оперативную память.

Siteliner

Siteliner — условно бесплатный онлайн-сервис. Проводит краткий аудит сайта: подсчитывает количество страниц, находит поддомены, документы с неуникальным контентом, закрытые от индексации или несуществующие страницы.

Список битых ссылок можно посмотреть в разделе «Broken Links».

Ahrefs

Популярный платный онлайн-сервис анализа ссылочного профиля и других SEO-параметров. Бесплатного пробного периода нет.

Отслеживает видимость и позиции по запросам, анализирует ключевые слова, прогнозирует цену клика в контекстной рекламе. Точно оценивает количество и качество бэклинков. Проверяет внешние и внутренние ссылки.

Запустите проверку. Отчет по битым линкам можно посмотреть в разделе «Broken links». Он включает адрес ссылающейся страницы, анкор, неработающий URL, количество соцсигналов.

Badlinks

Недорогой онлайн-сервис. Робот последовательно обходит все страницы и проверяет их доступность. Анализирует не только внутренние документы, но и сторонние сайты. Формирует удобный отчет.

Dead Link Checker

Онлайн-инструмент работает по подписке. Один сайт (до 2000 линков) можно проанализировать бесплатно. Dead Link Checker позволяет проверить сразу весь сайт или только одну страницу.

Check My Links

Check My Links — бесплатное расширение для браузера Google Chrome.

Расширение сканирует не весь сайт, оно работает только на странице, открытой в браузере. После анализа выводится отчет о ссылках и их состоянии — рабочие они или нет.

Broken Link Checker

Broken Link Checker — бесплатный плагин для сайтов на WordPress. Мониторит сайт с заданной в настройках периодичностью, составляет список сломанных ссылок и неработающих роликов YouTube.

Broken Link Checker удобен тем, что позволяет быстро удалить или отредактировать ссылку прямо в настройках плагина, не заходя на страницу. Хорошая опция: обнаружив проблемный линк, плагин отправляет отчет на почту администратора.

Проверка битых ссылок в панелях вебмастеров

Поисковые системы анализируют ссылочный профиль сайтов. Роботы Яндекса и Google находят гиперссылки, переходят по ним, проверяют, куда они ведут. А значит, «знают» о ссылках на несуществующие страницы.

В панели Яндекс.Вебмастера зайдите в раздел «Внутренние ссылки». Вы увидите список неработающих линков или надпись о том, что робот их не нашел.

Еще один способ — найти через Вебмастер страницы с 404 ошибкой. Он не поможет обнаружить битые линки, но подскажет, какие страницы требуют внимания. Возможно, их нужно исправить: восстановить контент или сделать редирект.

Зайдите в раздел «Индексирование»—«Страницы в поиске»—«Исключенные страницы» и выберите статус «Ошибка HTTP: 404».

В Google Search Console битые ссылки можно было посмотреть в отчете «Покрытие» (ошибка со статусом «Отправленный URL не найден»). В обновленной консоли такой опции нет, но можно найти документы, которые отдают код 404. Для этого надо зайти в раздел «Индекс»—«Страницы» и кликнуть на пункт «Не найдено» (404).

Как исправить битые ссылки

Когда поиск битых ссылок на сайте завершен, проанализируйте полученный список. Алгоритм действий зависит от причины ошибки. Если виновата опечатка, исправьте ее. Если страница-реципиент удалена, нужно либо убрать ссылку, либо восстановить страницу. Если битые линки возникли из-за смены URL, настройте редирект. Перенаправить трафик рекомендуется и в некоторых других ситуациях.

Если проект большой, сломанных URL очень много, и проблему невозможно решить массовым редиректом, можно поправить только те страницы, на которые идет трафик.

Расскажем подробнее о каждом способе.

Оформить 404 страницу

Оговоримся сразу: это не решение проблемы битых ссылок. Нестандартно оформленная 404 страница только отчасти нейтрализует их вред. Идея в том, чтобы побудить пользователей не возвращаться в выдачу, а продолжить поиск нужной информации на сайте.

Самый очевидный и эффективный способ — разместить навигацию: меню и ссылку на главную.

Удержать пользователя помогут привлекательные блоки из каталога.

А также шутливые картинки и надписи. Обратите внимание на кликабельный блок «Начать покупки», который побуждает остаться на сайте.

Заменить неработающую ссылку

Если в адресе ссылки есть опечатка, просто исправьте URL. Заменить неработающий линк на работающий полезно в ситуации, когда целевая страница была удалена, но на сайте есть страницы с похожим содержимым. Например, карточка товара с аналогичной моделью или информационная статья по близкой теме. Поменяйте битую ссылку на работающую, которая ведет на актуальный контент.

Например, в интернет-магазине сменился ассортимент, старая модель снята с продажи, но появились более современные модели.

Адрес карточки неактуального товара: https://site/fen/galaxy-line-gl4337

Адрес нового, похожего по характеристикам товара: https://site/fen/galaxy-line-gl4344

Поменяйте ссылку: перенаправьте трафик со старой модели на новую, либо на страницу категории https://site/fen.

Перенаправить с проблемной страницы

Настроить 301 редирект рекомендуется при смене структуры сайта:

• Меняется уровень вложенности. Было: https://site.ru/dekorativnaya/pomada. Стало: https://site.ru/dekorativnaya/dly-gub/pomada.

• Переименованы разделы. Было: https://site.ru/dekarativnaya/dly-gub/pomada. Стало: https://site.ru/kosmetika/dly-gub/pomada.

• Переезд сайта с http на https.

• Другие изменения, которые приводят к массовой смене URL.

Удалить битую ссылку

Если ссылка ведет на удаленную неактуальную статью, а переходов по ссылке было мало, ее можно просто удалить. Если же переходы были, то чтобы не терять трафик, лучше настроить редирект или поменять нерабочий линк на новый.

Восстановить удаленные страницы

Страница может быть удалена по ошибке, тогда ее нужно восстановить. Если документ удалили из-за низкого качества контента, его можно поправить, дополнить, актуализировать и восстановить.

Что делать с битыми ссылками на чужих сайтах

Битая ссылка на ваш сайт на стороннем ресурсе может появиться из-за банальной опечатки или из-за того, что страница была удалена после того, как на нее сослались. Это не ваша ошибка, но ваша проблема. Пользователь по некорректной ссылке попадает на ваш сайт, натыкается на объявление о 404 ошибке и уходит. Если таких переходов много, растут отказы, портится статистика, ухудшается ранжирование. Сайт мог бы получить потенциальных клиентов, а получает низкие ПФ. Такие бэклинки тоже нужно исправлять.

Связаться с администратором

Свяжитесь с администратором сайта и попросите его исправить ошибку. Поищите на сайте форму обратной связи или контакты. Если их нет, свяжитесь с владельцем через регистратора или хостинг. Для этого забейте адрес домена в сервис Whois и перейдите на форму обратной связи. Либо попросите помощь у хостера.

Настроить редирект

Если достучаться до администратора не удалось, настройте 301 редирект с неправильного URL на правильный любым удобный способом. Пользователи попадут на нужную вам страницу. Если же страница была удалена, можно перенаправить трафик на похожую по содержанию страницу.

Восстановить страницу

Если страница удалена, а ссылка осталась, стоит восстановить страницу или разместить на этом адресе новый актуальный контент.

Выводы

Итак, битые ссылки — очевидно зло, с которым нужно бороться. Они раздражают пользователей, приводят к росту отказов, компания теряет потенциальных клиентов. Поисковые системы солидарны с пользователями и снижают позиции сайтов со слабыми поведенческими факторами. В результате падает органический трафик.

Проанализировать работоспособность линков помогают десктопные и онлайн-сервисы, плагины, расширения для браузеров.

Найденные проблемные ссылки можно исправить одним из способов:

• удалить;

• заменить нерабочий URL на рабочий;

• настроить редирект;

• восстановить удаленную страницу или разместить на ней новый контент.

Битые бэклинки тоже доставляют неприятности владельцам сайтов. Переходы портят поведенческие факторы. Если заинтересованный пользователь не может попасть на ваш сайт из-за ошибки, ее нужно исправить. Попросите владельца проекта, на котором размещена ссылка, исправить ошибку или решите проблему на собственном сайте: сделайте редирект или восстановите страницу.

В любой ситуации можно найти подходящее решение.

Что такое битая ссылка?

Битая ссылка (broken links) представляет собой ссылку, ведущую на несуществующую страницу. Попадая на нее, посетителю выводится экран 404 ошибки (каждый ресурс оформляет его по-своему).

Пример 404 страницы

404 – код ответа сервера, указывает на то, что документ отсутствует.

Битые ссылки делятся на две категории:

• Внутренние – URL-адреса, ведущие на внутренние документы сайта.
• Внешние – ссылки на сторонние домены.

Почему битые ссылки – это плохо?

Битые ссылки наносят вред ресурсу, и чем их больше, тем он ощутимее. Представим ситуацию, на сайте публикуется статья, ее репостят в социальных сетях или на своих ресурсах, она попадает в поисковую выдачу. Но по какой-то причине, страница со статьей удаляется или меняется ее URL-адрес и по прошлой ссылке она становится недоступной. Что происходит в этом случае? Вся целевая аудитория, пришедшая на этот адрес, получает 404-ошибку и, скорее всего, покидает сайт. Из-за этого начинает расти процент отказов, что выступает негативным знаком для поисковых систем. В свою очередь, их алгоритмы начинают понижать позиции страницы в органической выдаче, а это прямая потеря трафика/прибыли. Т.е. нужно понять, что наличие битых ссылок – один из признаков некачественного сайта.

К примеру, у Google есть фильтр Broken links, суть которого заключается в отслеживании качества ссылочной массы. Если на сайте присутствует значительное количество битых ссылок, то имеется вероятность попадания под данный фильтр и получения санкций, в виде потери позиций в поисковой выдаче.

Битые ссылки могут тратить понапрасну краулинговый бюджет – определенный лимит запросов (страниц), выделяемый поисковым краулером для индексирования сайта. Если сайт небольшой, то это не приведет к проблемам, а если это активно развивающийся ресурс, например, интернет-магазин, то нехватка краулингового бюджета может обернутся проблемами с индексированием.

Также у этого явления есть еще одна негативная сторона – пользователи, которые получили вместо требуемой информации 404-ошибку, начинают терять доверие к ресурсу в целом, закрывают его и часто не возвращаются.

Откуда берутся битые ссылки?

Причин, по которым появляются битые ссылки, несколько:

• Человеческий фактор, приведший к удалению страницы. Здесь может быть место случайности, но иногда специалист, ответственный за наполнение ресурса не в курсе, что просто удалять материал с сайта нельзя.
• Изменения в ассортименте интернет-магазина, товар или удален, или закончился на складе.
• У документа по какой-то причине поменялся URL-адрес. Опять же это может быть случайность или целенаправленная работа, например, в сторону изменения структуры сайта.

Опытные вебмастера в большинстве случаев умеют определять первопричину появления битых ссылок, а также выявлять закономерности, приведшие к этому.

Способы выявления битых ссылок

Найти битые ссылки на сайте можно различными способами: от специализированных сервисов и программ до систем аналитики и плагинов для CMS, в целом, это достаточно просто.

Консоли вебмастеров

В консолях для вебмастеров от Яндекс и Google можно определить страницы, имеющие битые ссылки.

Google Search Console

Алгоритм поиска через Google Search Console прост, заходим в инструмент, в левом меню находим пункт «Сканирование», здесь разбиты на категории страницы, в том числе и с битыми URL-адресами.

Проверяем раздел «Покрытие» в Google Search Console

Яндекс.Вебмастер

Заходим в панель, в левом меню выбираем пункты «Ссылки – Внутренние ссылки». При наличии битых адресов, инструмент их выведет списком, который можно экспортировать в Excel-формате.

Выявление битых ссылок в Яндекс.Вебмастере

Счетчики web-аналитики

Аналогичным способом можно выявлять битые URL в консолях аналитики Яндекс.Метрике и Google Analytics.

Яндекс.Метрика

Переходим в сервис, в главном меню выбираем путь: «Отчеты – Стандартные отчеты – Содержание – Заголовки страниц». Здесь необходимо понимать, что страницы с битыми ссылками содержат в заголовке код ответа сервера – 404. Соответственно, находим подобные через поиск.

Поиск битых ссылок в Яндекс.Метрике

Ищем битые ссылки по заголовку страниц

Google Analytics

Все то же самое, что и в Яндекс.Метрике – ищем страницы, имеющие в заголовке «404». Предварительно перейдя на страницу инструмента: «Поведение – Контент сайта – Все страницы».

Десктопные программы

Предыдущие способы выявления битых ссылок хороши тем, что полностью бесплатны, но нужно понимать, подобные URl-адреса отобразятся только в случае индексации данных страниц. Если нужно выявить 404-страницы со 100% вероятностью, то рекомендуется использовать специализированный софт.

Xenu’s Link Sleuth

Бесплатная программа-сканер, имеет широкий спектр применения, но нас интересует поиск 404-страниц. Для начала сканирования, переходим в «File – Check URL..», вбиваем адрес изучаемого сайта и запускаем краулер.

Программа Xenu’s Link Sleuth

Отчет по битым ссылкам в программе Xenu’s Link Sleuth

По итогу получаем список страниц, их заголовки и прочую техническую информацию. Здесь же находим столбец «Status», показывающий, соответственно, статус ссылки. «Not found» говорит о том, что ссылка битая. Данная программа еще удобна тем, что столбцы можно сортировать, отобразив битые ссылки вначале списка.

Screaming Frog

Это целый набор полезнейших инструментов для SEO-специалиста. Позволяет проводить детальный анализ состояния сайта и его составляющих, в частности программа способна помочь найти битые ссылки.

Программа Screaming Frog

После сканирования, программа выводит список страниц (предварительно нужно перейти в режим отображения HTML-страниц в правом блоке интерфейса), показывая коды ответов от них. URL можно отсортировать, сгруппировав 404 ответы. В нижем блоке предоставляется детальная информация по выделенному адресу, в частности, можно найти страницу, которая ведет на битый адрес. Это крайне удобная опция, позволяющая оперативно править не только проблемные линки, но и источники, ведущие на них.

Единственная особенность программы Screaming Frog – она платная. В демоверсии разрешается парсить лишь до 500 страниц, в принципе, этого может быть достаточным для небольших проектов. Но, к слову, программа полностью оправдывает свою цену, давая взамен широкий инструментарий.

Site Analyzer

Также является набором инструментов для технического и SEO-анализа сайтов. Для поиска битых ссылок вбиваем адрес сайта, запускаем сканирование, по окончанию включаем отображение только HTML-документов (в правом блоке), и сортируем их по коду ответа. Программа имеет интуитивно понятный интерфейс, который, в отличии от Screaming Frog, имеет русскую локализацию, что упрощает работу для пользователей не владеющих английским.

Поиск битых ссылок на Site Analyzer

В нижней части программы выводится детальная информация по выделенному URL-адресу. Здесь удобно искать источники битых ссылок на сайте.

Онлайн-сервисы

Кроме десктопных программ, среди SEO-специалистов популярны онлайн-сервисы. Они удобны тем, что скорость выполнения задач гораздо выше софта, т.к. работа последнего зависит от мощности пользовательского компьютера и скорости доступа в интернет. Также тяжеловесные задачи могут выполняться на фоне, не требуя при этом постоянно включенного компьютера. И в дополнение, некоторые задачи, как например парсинг ресурса, содержащего сотни тысяч страниц, могут выполняться лишь на исключительно мощном железе.

Serpstat

Как заявляют разработчики – это многофункциональная платформа для SEO-специалистов. Перечислять весь список возможностей сервиса нет смысла, но скажем, что сканировать ресурс на битые ссылки он точно умеет.

Базовый тариф равен 69$/мес, а для крупных компаний предлагаются индивидуальные решения.

Онлайн-сервис Serpstat

Тарифные планы Serpstat

Brokenlinkcheck.com

Это бесплатный сервис, ориентированный исключительно для проверки сайта на битые ссылки. Просто вбиваем адрес сайта, капчу и запускаем. Нужные нам адреса выводятся таблицей.

Brokenlinkcheck.com

Drlinkcheck.com

Также англоязычный сервис-сканер, позволяет проверять сайт на битые ссылки, но если ресурс содержит более 1500 страниц, то за использование платформы придется платить.

Сервис-сканер Drlinkcheck.com

Тарифные планы сервиса Drlinkcheck.com

Плагины

Для популярных CMS существуют плагины, которые позволяют проверять сайт на битые ссылки из админ-панели Например, для WordPress выделяются Broken Link Checker, Link Checker и WP Broken Link Status Checker. Само сканирование может происходит с ручным запуском или автоматическим, во втором случае, это происходит по расписанию, а по итогу проверки, администратор уведомляется о ее результатах.

Помните, что если ресурс содержит в себе большое количество страниц, то сканирование с помощью плагинов, может оказывать существенную нагрузку на сервер. Поэтому каждая проверка должна быть оправданной, а лучше для этого использовать онлайн-сервисы.

Как удалить битые ссылки с сайта правильно?

Способы борьбы с битыми ссылками зависят от конкретной ситуации:

• Если страница была удалена по ошибке, то ее достаточно восстановить (проследив при этом, чтобы она была доступна по старому адресу).
• При изменении структуры сайта, повлекшей корректировки URL существующих документов, следует поставить 301-редирект со старой страницы на актуальную. Рекомендуется регулярно отслеживать статус документов, особенно тех, на который есть трафик.
• Аналогичным способом действуем в интернет-магазине, в котором часто меняется ассортимент – настраиваем 301-редирект на категорию товаров или на аналогичное предложение. Не лишним будет проработать 404-страницу ошибки, обратите внимание как она оформлена у крупных игроков рынка, например, М-Видео. Она должна предлагать пользователю альтернативу действий, направлять его на другие разделы или страницы сайта, и в целом, не вызывать раздражения.

Как видно из примеров, в подавляющем большинстве случаев, если не планируется восстановление страницы по старому адресу, с него должен обязательно быть настроен 301-редирект. Другими словами, пользователь должен куда-то перенаправляться, наша задача удержать его на ресурсе, минимизировав таким образом, процент отказов.

Что делать с битыми ссылками на ваш сайт с чужих ресурсов?

Здесь все гораздо сложнее, т.к. прямого доступа к чужому ресурсу у вас нет. Вот варианты борьбы с битыми ссылками на сторонних площадках:

• Связь с администрацией, с просьбой исправить/удалить ссылку – наиболее приемлемый вариант в данной ситуации. В большинстве случаев, если это не «мертвый» ресурс, админы идут на встречу.
• Если однотипных ссылок много (URL, ведущих на одну и ту же несуществующую страницу), то настраиваем 301-редирект на своем сайте, направляя посетителей на нужные документы. Но лучше в этом случае восстановить страницу по старому адресу, т.к. ссылочная масса играет важнейшую роль в SEO-продвижении.
• В некоторых случаях можно воспользоваться инструментом, к сожалению, актуальным только для системы Google – Disavow Links Tool. Он позволяет уведомить поисковик о тех ссылках на сторонних ресурсах, которые не нужно учитывать при ранжировании вашего сайта.

Как часто проверять линки на сайте?

После прочитанного, возникает резонный вопрос – а как часто нужно искать битые ссылки на сайте? Ответ прост, все зависит от конкретно взятого ресурса, а точнее, от частоты его обновления и количества документов. Логично, чем больше размер сайта, тем вероятнее появления 404-ошибок.

Небольшие проекты достаточно проверять раз в несколько месяцев. Интернет-магазины, крупные новостные сайты и подобные ресурсы, над которыми работают несколько контент-менеджеров, рекомендуется сканировать не реже двух раз в месяц.

Появление битых ссылок следует избегать, в противном случае они будут якорем на всем пути продвижения сайта.