Как исправить битые ссылки битрикс

Что такое битая ссылка?

Битая ссылка (broken links) представляет собой ссылку, ведущую на несуществующую страницу. Попадая на нее, посетителю выводится экран 404 ошибки (каждый ресурс оформляет его по-своему).

Пример 404 страницы

404 – код ответа сервера, указывает на то, что документ отсутствует.

Битые ссылки делятся на две категории:

• Внутренние – URL-адреса, ведущие на внутренние документы сайта.
• Внешние – ссылки на сторонние домены.

Почему битые ссылки – это плохо?

Битые ссылки наносят вред ресурсу, и чем их больше, тем он ощутимее. Представим ситуацию, на сайте публикуется статья, ее репостят в социальных сетях или на своих ресурсах, она попадает в поисковую выдачу. Но по какой-то причине, страница со статьей удаляется или меняется ее URL-адрес и по прошлой ссылке она становится недоступной. Что происходит в этом случае? Вся целевая аудитория, пришедшая на этот адрес, получает 404-ошибку и, скорее всего, покидает сайт. Из-за этого начинает расти процент отказов, что выступает негативным знаком для поисковых систем. В свою очередь, их алгоритмы начинают понижать позиции страницы в органической выдаче, а это прямая потеря трафика/прибыли. Т.е. нужно понять, что наличие битых ссылок – один из признаков некачественного сайта.

К примеру, у Google есть фильтр Broken links, суть которого заключается в отслеживании качества ссылочной массы. Если на сайте присутствует значительное количество битых ссылок, то имеется вероятность попадания под данный фильтр и получения санкций, в виде потери позиций в поисковой выдаче.

Битые ссылки могут тратить понапрасну краулинговый бюджет – определенный лимит запросов (страниц), выделяемый поисковым краулером для индексирования сайта. Если сайт небольшой, то это не приведет к проблемам, а если это активно развивающийся ресурс, например, интернет-магазин, то нехватка краулингового бюджета может обернутся проблемами с индексированием.

Также у этого явления есть еще одна негативная сторона – пользователи, которые получили вместо требуемой информации 404-ошибку, начинают терять доверие к ресурсу в целом, закрывают его и часто не возвращаются.

Откуда берутся битые ссылки?

Причин, по которым появляются битые ссылки, несколько:

• Человеческий фактор, приведший к удалению страницы. Здесь может быть место случайности, но иногда специалист, ответственный за наполнение ресурса не в курсе, что просто удалять материал с сайта нельзя.
• Изменения в ассортименте интернет-магазина, товар или удален, или закончился на складе.
• У документа по какой-то причине поменялся URL-адрес. Опять же это может быть случайность или целенаправленная работа, например, в сторону изменения структуры сайта.

Опытные вебмастера в большинстве случаев умеют определять первопричину появления битых ссылок, а также выявлять закономерности, приведшие к этому.

Способы выявления битых ссылок

Найти битые ссылки на сайте можно различными способами: от специализированных сервисов и программ до систем аналитики и плагинов для CMS, в целом, это достаточно просто.

Консоли вебмастеров

В консолях для вебмастеров от Яндекс и Google можно определить страницы, имеющие битые ссылки.

Google Search Console

Алгоритм поиска через Google Search Console прост, заходим в инструмент, в левом меню находим пункт «Сканирование», здесь разбиты на категории страницы, в том числе и с битыми URL-адресами.

Проверяем раздел «Покрытие» в Google Search Console

Яндекс.Вебмастер

Заходим в панель, в левом меню выбираем пункты «Ссылки – Внутренние ссылки». При наличии битых адресов, инструмент их выведет списком, который можно экспортировать в Excel-формате.

Выявление битых ссылок в Яндекс.Вебмастере

Счетчики web-аналитики

Аналогичным способом можно выявлять битые URL в консолях аналитики Яндекс.Метрике и Google Analytics.

Яндекс.Метрика

Переходим в сервис, в главном меню выбираем путь: «Отчеты – Стандартные отчеты – Содержание – Заголовки страниц». Здесь необходимо понимать, что страницы с битыми ссылками содержат в заголовке код ответа сервера – 404. Соответственно, находим подобные через поиск.

Поиск битых ссылок в Яндекс.Метрике

Ищем битые ссылки по заголовку страниц

Google Analytics

Все то же самое, что и в Яндекс.Метрике – ищем страницы, имеющие в заголовке «404». Предварительно перейдя на страницу инструмента: «Поведение – Контент сайта – Все страницы».

Десктопные программы

Предыдущие способы выявления битых ссылок хороши тем, что полностью бесплатны, но нужно понимать, подобные URl-адреса отобразятся только в случае индексации данных страниц. Если нужно выявить 404-страницы со 100% вероятностью, то рекомендуется использовать специализированный софт.

Xenu’s Link Sleuth

Бесплатная программа-сканер, имеет широкий спектр применения, но нас интересует поиск 404-страниц. Для начала сканирования, переходим в «File – Check URL..», вбиваем адрес изучаемого сайта и запускаем краулер.

Программа Xenu’s Link Sleuth

Отчет по битым ссылкам в программе Xenu’s Link Sleuth

По итогу получаем список страниц, их заголовки и прочую техническую информацию. Здесь же находим столбец «Status», показывающий, соответственно, статус ссылки. «Not found» говорит о том, что ссылка битая. Данная программа еще удобна тем, что столбцы можно сортировать, отобразив битые ссылки вначале списка.

Screaming Frog

Это целый набор полезнейших инструментов для SEO-специалиста. Позволяет проводить детальный анализ состояния сайта и его составляющих, в частности программа способна помочь найти битые ссылки.

Программа Screaming Frog

После сканирования, программа выводит список страниц (предварительно нужно перейти в режим отображения HTML-страниц в правом блоке интерфейса), показывая коды ответов от них. URL можно отсортировать, сгруппировав 404 ответы. В нижем блоке предоставляется детальная информация по выделенному адресу, в частности, можно найти страницу, которая ведет на битый адрес. Это крайне удобная опция, позволяющая оперативно править не только проблемные линки, но и источники, ведущие на них.

Единственная особенность программы Screaming Frog – она платная. В демоверсии разрешается парсить лишь до 500 страниц, в принципе, этого может быть достаточным для небольших проектов. Но, к слову, программа полностью оправдывает свою цену, давая взамен широкий инструментарий.

Site Analyzer

Также является набором инструментов для технического и SEO-анализа сайтов. Для поиска битых ссылок вбиваем адрес сайта, запускаем сканирование, по окончанию включаем отображение только HTML-документов (в правом блоке), и сортируем их по коду ответа. Программа имеет интуитивно понятный интерфейс, который, в отличии от Screaming Frog, имеет русскую локализацию, что упрощает работу для пользователей не владеющих английским.

Поиск битых ссылок на Site Analyzer

В нижней части программы выводится детальная информация по выделенному URL-адресу. Здесь удобно искать источники битых ссылок на сайте.

Онлайн-сервисы

Кроме десктопных программ, среди SEO-специалистов популярны онлайн-сервисы. Они удобны тем, что скорость выполнения задач гораздо выше софта, т.к. работа последнего зависит от мощности пользовательского компьютера и скорости доступа в интернет. Также тяжеловесные задачи могут выполняться на фоне, не требуя при этом постоянно включенного компьютера. И в дополнение, некоторые задачи, как например парсинг ресурса, содержащего сотни тысяч страниц, могут выполняться лишь на исключительно мощном железе.

Serpstat

Как заявляют разработчики – это многофункциональная платформа для SEO-специалистов. Перечислять весь список возможностей сервиса нет смысла, но скажем, что сканировать ресурс на битые ссылки он точно умеет.

Базовый тариф равен 69$/мес, а для крупных компаний предлагаются индивидуальные решения.

Онлайн-сервис Serpstat

Тарифные планы Serpstat

Brokenlinkcheck.com

Это бесплатный сервис, ориентированный исключительно для проверки сайта на битые ссылки. Просто вбиваем адрес сайта, капчу и запускаем. Нужные нам адреса выводятся таблицей.

Brokenlinkcheck.com

Drlinkcheck.com

Также англоязычный сервис-сканер, позволяет проверять сайт на битые ссылки, но если ресурс содержит более 1500 страниц, то за использование платформы придется платить.

Сервис-сканер Drlinkcheck.com

Тарифные планы сервиса Drlinkcheck.com

Плагины

Для популярных CMS существуют плагины, которые позволяют проверять сайт на битые ссылки из админ-панели Например, для WordPress выделяются Broken Link Checker, Link Checker и WP Broken Link Status Checker. Само сканирование может происходит с ручным запуском или автоматическим, во втором случае, это происходит по расписанию, а по итогу проверки, администратор уведомляется о ее результатах.

Помните, что если ресурс содержит в себе большое количество страниц, то сканирование с помощью плагинов, может оказывать существенную нагрузку на сервер. Поэтому каждая проверка должна быть оправданной, а лучше для этого использовать онлайн-сервисы.

Как удалить битые ссылки с сайта правильно?

Способы борьбы с битыми ссылками зависят от конкретной ситуации:

• Если страница была удалена по ошибке, то ее достаточно восстановить (проследив при этом, чтобы она была доступна по старому адресу).
• При изменении структуры сайта, повлекшей корректировки URL существующих документов, следует поставить 301-редирект со старой страницы на актуальную. Рекомендуется регулярно отслеживать статус документов, особенно тех, на который есть трафик.
• Аналогичным способом действуем в интернет-магазине, в котором часто меняется ассортимент – настраиваем 301-редирект на категорию товаров или на аналогичное предложение. Не лишним будет проработать 404-страницу ошибки, обратите внимание как она оформлена у крупных игроков рынка, например, М-Видео. Она должна предлагать пользователю альтернативу действий, направлять его на другие разделы или страницы сайта, и в целом, не вызывать раздражения.

Как видно из примеров, в подавляющем большинстве случаев, если не планируется восстановление страницы по старому адресу, с него должен обязательно быть настроен 301-редирект. Другими словами, пользователь должен куда-то перенаправляться, наша задача удержать его на ресурсе, минимизировав таким образом, процент отказов.

Что делать с битыми ссылками на ваш сайт с чужих ресурсов?

Здесь все гораздо сложнее, т.к. прямого доступа к чужому ресурсу у вас нет. Вот варианты борьбы с битыми ссылками на сторонних площадках:

• Связь с администрацией, с просьбой исправить/удалить ссылку – наиболее приемлемый вариант в данной ситуации. В большинстве случаев, если это не «мертвый» ресурс, админы идут на встречу.
• Если однотипных ссылок много (URL, ведущих на одну и ту же несуществующую страницу), то настраиваем 301-редирект на своем сайте, направляя посетителей на нужные документы. Но лучше в этом случае восстановить страницу по старому адресу, т.к. ссылочная масса играет важнейшую роль в SEO-продвижении.
• В некоторых случаях можно воспользоваться инструментом, к сожалению, актуальным только для системы Google – Disavow Links Tool. Он позволяет уведомить поисковик о тех ссылках на сторонних ресурсах, которые не нужно учитывать при ранжировании вашего сайта.

Как часто проверять линки на сайте?

После прочитанного, возникает резонный вопрос – а как часто нужно искать битые ссылки на сайте? Ответ прост, все зависит от конкретно взятого ресурса, а точнее, от частоты его обновления и количества документов. Логично, чем больше размер сайта, тем вероятнее появления 404-ошибок.

Небольшие проекты достаточно проверять раз в несколько месяцев. Интернет-магазины, крупные новостные сайты и подобные ресурсы, над которыми работают несколько контент-менеджеров, рекомендуется сканировать не реже двух раз в месяц.

Появление битых ссылок следует избегать, в противном случае они будут якорем на всем пути продвижения сайта.

• Новые возможности seo-модуля
• Что такое Ошибка 404 или 404 Not found
• Откуда берутся битые ссылки на сайте
• Программы для поиска 404 ошибок на сайте
• Поиск битых ссылок с помощью нашего seo-модуля
  • Включение логирования 404 ошибок
  • Механика работы
  • Интерфейс
  • Что *не* находит модуль
• Исправление битых ссылок на сайте

Новые возможности seo-модуля

Мы выпустили обновление модуля «Инструменты seo-специалиста». Теперь в нем есть Журнал битых ссылок на сайте. Журнал работает полностью автономно, в фоновом режиме. Отчет доступен в любое время, без дополнительных «парсингов». Подробности о новой функции ниже.

seo-модуль + журнал 404 = новый seo-модуль

Что такое Ошибка 404 или 404 Not found

Ошибка 404 или Not Found («не найдено») — стандартный код ответа HTTP о том, что клиент был в состоянии общаться с сервером, но сервер не может найти данные согласно запросу (цитата из Википедии, https://ru.wikipedia.org/wiki/HTTP_404).

Это значит — запрашиваемой страницы сейчас нет на сервере. Возможно, раньше была (http не хранит историю состояний). Сама по себе ошибка 404 на странице не страшна.

Плохо, если на страницы с 404 ошибками ссылаются другие. Такие ссылки называют «битыми», или «мертвыми». Битые ссылки мешают пользователям и поисковикам воспринимать информацию сайта:

1. Уменьшают трафик. Однажды открыв битую ссылку, пользователь (как и поисковая машина), не перейдет по ней вновь.
2. Увеличивают отказы. Пользователи видят страницу с ошибкой и покидают сайт.
3. Уменьшают время, проведенное пользователем на сайте.
4. Создают «плохую карму» ссылочному профилю сайта. Поисковик тратит лишнее время на переходы по битым ссылкам.

Большое количество битых ссылок — серьезная проблема. Расскажем, как ее исправить.

Откуда берутся битые ссылки на сайте

Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.

• На сайте неправильно настроены ЧПУ, инфоблоки, компоненты. При попытке открыть страницу новости, например, появляется ошибка.
• Товар снят с продажи или закончился на складе. Некоторые сайты в этом случае удаляют страницу товара из каталога.
• Адрес страницы изменился, вы не поставили 301 редирект, страница выдает ошибку (статья — https://www.intervolga.ru/blog/marketing/301-redirect-bitrix/).
• Пользователь (или другой сайт) ошибочно скопировал ссылку на страницу.
• Вы удалили картинку, pdf-ку, видеоролик с сайта, не проверив, есть на него ссылки или нет.

Если в первых трех случаях вы можете ошибки предотвратить грамотной настройкой сайта, от последних вы не застрахованы. Если к адресу любого сайта дописать /abracadabra_404, скорей всего увидите 404 ошибку.

Программы для поиска 404 ошибок на сайте

Есть несколько программ, которые справляются с поиском 404 ошибок.

1. Xenu’s Link Sleuth (http://home.snafu.de/tilman/xenulink.html). Бесплатная. Работает только под Windows (на виртуальной машине не проверяли). Выгружает результат в HTML и CSV (чтобы открыть в Excel надо сменить кодировку). Пример работы программы:
   
2. Comparser (http://parser.alaev.info/). Платная, 2000 руб. Работает только под Windows, работу на виртуальной машине не проверяли.
3. Netpeak seospider (https://netpeaksoftware.com/ru/spider ). Платная, от $9,80/мес. На данный момент работает только под Windows. На странице программы написано, что версии MacOS и Linux в разработке.

Программы замечательно справляются с поиском битых ссылок, но обладают недостатками:

1. Все-таки, это десктопные программы. Чтобы получить результат, вам надо запустить сервис проверки, дождаться его завершения. Далее обработать результат. На больших объемах данных это бывает непросто.
2. Для больших сайтов программа работает несколько часов. При этом растет нагрузка на сайт. Сайт из 1 миллиона страниц мы за 2 недели так и не смогли полностью обойти, сервер не справляется с нагрузкой и блокирует программу.
3. Программы не работают в фоновом режиме. Если вы делали проверку месяц назад, вероятно, на сайте появились новые битые ссылки, и парсер надо запускать заново.

Для небольших сайтов (до 5 тысяч страниц) используйте любую программу или даже отчет Вебмастера Яндекса. Для больших сайтов сканирование проводят «частями» или небольшими интервалами.

Мы упростили работу специалистам по продвижению сайтов на 1С-Битрикс и добавили функцию поиска битых ссылок в модуль «Инструменты seo-специалиста». Мы планируем сделать инструмент, полностью закрывающий задачи оптимизации сайта. Вместо нескольких программ используйте наш seo-модуль.

Поиск битых ссылок с помощью нашего seo-модуля

Несколько лет назад, когда обновляли свой сайт, мы уже использовали похожий инструмент — Журнал 404 ошибок. Статья — https://www.intervolga.ru/blog/projects/404-redirect/.

На его основе мы доработали и выпустили новую версию модуля “Инструменты seo-специалиста”. Теперь в нем есть функция отслеживания и записи в единый журнал всех ошибок 404 на страницах сайта.

Задача — хранить список свежих битых ссылок в удобном для seo-специалиста виде. Без дополнительных настроек и программирования.

Смело скажем — У нас получилось! Как только вы установите (или обновите модуль), на сайте появится журнал битых ссылок, который автоматически начнет пополняться в момент срабатывания ошибок 404.

Журнал битых ссылок работает сразу после установки модуля.

Внимание, на данный момент модуль обновлен до стабильной версии 2.2.4. Чтобы журнал битых ссылок появился у вас на сайте, установите обновление модуля. Обязательно сделайте резервную копию перед установкой.

Кратко о новых возможностях.

Включение логирования 404 ошибок

При установке модуля функция логирования сразу включена. Фиксация битых ссылок начинается, как только вы установили модуль. Ничего дополнительно делать не надо!

У журнала есть настройка, сколько дней хранить записи. По умолчанию стоит 90 дней. Если на сайте несколько миллионов страниц и вы переживаете за размер базы данных (битые ссылки хранятся в отдельной таблице iv_seo_error_log), установите меньший период.

Механика работы

Если функция включена, модуль отслеживает на каждой странице появление ошибки 404. Даже если это делает компонент (сообщение Элемент не найден).

При срабатывании 404 ошибки модуль добавляет в таблицу iv_seo_error_log новую запись об ошибке. Для существующей пары {URL — реферер} модуль не создаёт новую запись, а увеличивает счетчик посещений. Вы будете знать, сколько раз на конкретную ссылку переходили с конкретного источника.

Таблица создается при установке модуля (или при обновлении). Если функция выключена, запись в таблицу не происходит. При удалении модуля таблица сохраняется в базе.

Интерфейс

В меню модуля «Сервисы — SEO-свойства» появился новый пункт «Битые ссылки».

На странице типовая «админская» таблица. В ней выводится список известных модулю URL, на которых сработала 404.

Для каждого URL хранится реферер перехода и количество хитов, чтобы найти и устранить источник ошибки.

Для таблицы доступно редактирование порядка и состава столбцов, а также выгрузка в Excel. Если выбрать страницы с помощью фильтра, выгрузка в Excel сработает только для них. Например, можно выгрузить список 404 с определенным реферером.

Что *не* находит модуль

Модуль определяет отсутствие документов (php, html, doc, xls, pdf) — запросы, в результате которых можно увидеть страницу 404 вашего сайта (их перехватывает и обрабатывает 1С-Битрикс).

При этом, в зависимости от настроек сервера, файлы картинок, js, css могут быть обработаны на уровне Nginx. Такие обращения модуль не зафиксирует.

Для их поиска пользуйтесь предложенными программами или панелью вебмастера. Как правило, % таких битых ссылок низкий.

Исправление битых ссылок на сайте

Для начала фильтром выберите нужные страницы и скачайте список 404 ошибок для обработки. Проведите анализ битых ссылок и решите, что делать с каждой. Для исправления битых ссылок можно:

1. Разместить по этому адресу релевантный документ.
2. Настроить редирект со старого адреса на новый. Если на страницу ссылаются другие сайты, и вы не можете их отредактировать, возможно так и придется сделать.
3. Отредактировать страницу-источник — удалить ссылку или заменить на корректную.

Модуль не знает об исправлении ошибок, и хранит все ссылки в базе. Чтобы проверить, что новых ошибок после чистки не появляется, используйте фильтр по “дате последнего изменения”.

Для каждой ссылки подходит один вариант. Какой — решает специалист по seo. Обновленный модуль «Инструменты seo-специалиста» поможет найти битые ссылки и восстановить информацию на сайте.

Научитесь: Интернет-маркетолог с нуля 2023
Узнать больше

Битые ссылки – это обычные, казалось бы, URL, но вот только одна проблема – они ведут в никуда.

Такие линки не только невероятно раздражают посетителей, но и негативно влияют на ранжирование домена. Рассказываем, как без помощи программистов быстро обнаружить на сайте и исправить неработающие URL.

Что считать битой ссылкой

Битыми ссылками можно назвать абсолютно любые линки, при открытии которых появляется 404-ая страница. В свою очередь, сами битые URL можно разделить на внутренние и внешние. Вас, как владельца сайта, должны волновать, в первую очередь, внутренние – это сломанные ссылки, которые ведут на разные страницы вашего сайта. Внешние же ссылки также представляют проблему, но решить ее в чем-то даже проще: достаточно заменить проблемную ссылку на рабочую, сославшись на другой домен.

Предлагаю разобраться в наиболее негативных последствиях большого количества битых URL.

Происхождение битых URL: что проверить в первую очередь

Битые ссылки могут возникать буквально на пустом месте. Все причины их появления можно свести к трем факторам:

1. Ошибки в адресе ссылки при ручном или автоматическом указании URL. Самый частый подобный сценарий – проблемы со слешем. Многие недооценивают влияние простой черты в конце URL, и это большая ошибка. Обязательно учитывайте ее при указании ссылок и проверяйте, если неожиданно страница оказалась недоступной.
2. Глобальные изменения на сайте – переход на новое доменное имя, изменения дизайна, установка плагинов. Любые действия, связанные с глобальными или частичными изменениями, способны привести к появлению битых ссылок. Даже если вносимые изменения в работу сайта, на ваш взгляд, не представляют опасности, всегда делайте бекап! Распространенный сценарий появления битых линков – установка SSL-сертификата и некорректный переезд на HTTPS-протокол, соответственно.

   Если же на вашем сайте произошли структурные изменения, то обязательно нужно настроить 301-ое перенаправление со старых страниц.

3. Частичное или массовое удаление уже существующих на сайте страниц. Это еще один частый случай появления битых URL. Особенно часто этим грешат магазины, которые, вместо того, чтобы настроить перенаправление на страницу с отсутствующим в наличии товаром, просто удаляют ее.

В чем опасность битых ссылок

Самая главная опасность битых линков – это пессимизация поведенческих факторов и раздражение аудитории.

Вспомните, что делаете вы сами, когда переходите по ссылке, но, вместо информации вам демонстрируется 404-ая страница. Скорее всего, просто закрываете сайт и начинаете искать другой источник информации. Таким образом, наличие большого количества битых ссылок, как минимум, негативно сказывается на метриках «Время на сайте» и «Отказы».

Следующая опасность – потеря трафика. Кроме этого, у каждой ссылки есть специальная «метрика» (в среде оптимизаторов она называется весом). Если речь идет о битой ссылке, то она тоже оказывается обнуленной. Другими словами, ссылочный вес просто не передается.

Еще одна негативная сторона битых URL – поисковики не любят домены с большим количеством таких ссылок. Такие сайты хуже ранжируется и медленнее индексируются. Почему?

Дело в том, что у каждого краулера (поискового робота) имеется собственный лимит по суммарному количеству запросов, который он может отправить в рамках одного домена (число запросов в секунду, например). Если битых URL очень много, то робот просто расходуют такой лимит на пустые страницы, а по-настоящему полезные страницы с контентом вовсе остаются без его внимания.

Как найти битые URL

Обнаружить битые URL можно при помощи нескольких инструментов. Проще всего это сделать в интерфейсе «Яндекс.Вебмастера» или Google Search Console, а также через расширения для браузеров и плагины CMS. Рассмотрим все варианты подробнее.

«Яндекс.Вебмастер»

Открываем «Яндекс.Вебмастер» и выбираем «Индексирование», далее «Обход по счетчикам»:

Теперь нам необходимо отфильтровать результаты таким образом, чтобы мы увидели только те страницы, которые отдают 404-ый код. Для этого кликаем по иконке с изображением воронки:

Выбираем 404-ый код:

Получаем отчет со всеми удаленными страницами:

Google Search Console

Чтобы увидеть битые ссылки в GSC, открываем раздел «Индекс» и выбираем пункт «Покрытие». Откроется анализ покрытия:

Выбираем пункт «Исключено». Теперь устанавливаем сортировку и выбираем 404-ые страницы.

Для этого действуем в следующей последовательности:

Далее кликаем на «Не найдено (404)» – здесь и будут все удаленные страницы:

Найти страницу, на которой обнаружен URL, вы можете вручную.

Google Analytics

К слову про инструменты Google: в Google Analytics также можно обнаружить все битые ссылки, которые есть на вашем сайте. Но в этом случае необходимо точно знать title вашей 404-ой. Обычно это «Страница не найдена» или вариации этого названия.

Для того чтобы найти битые ссылки при помощи GA, открываем «Контент сайта» и выбираем подраздел «Все страницы»:

Указываем название 404-ой страницы (напомню, что на каждом сайте оно разное, но обычно это «Страница не найдена» или «404»):

В некоторых случаях CMS, работающая на вашем сайте, не будет прописывать title 404-ой автоматически. Так что, если вам не удалось найти точное название, таким способом найти битые ссылки не удастся.

Но и здесь есть лайфхак: можно просто экспортировать все трафиковые страницы за интересующий вас период и проверить их код. Для проверки состояния можно использовать любой сервис, позволяющий получить код ответа сервера нескольких страниц сразу.

Ahrefs

Это удобный инструмент, который не только ищет битые бэклинки (внешние ссылки), но и пытается соотнести их с анкорами.

Все сломанные URL Ahrefs собирает в специальном отчете.

Если же вы пользуетесь интерфейсом на русском языке, то указанный отчет можно найти в разделе «Ссылочный профиль». Далее выбираем «Бэклинки» и пункт «Битые».

Netpeak Spider

Нетпиковский «паук» – мой фаворит. Сервис позволяет найти все сломанные URL на вашем сайте буквально в пару кликов. Что немаловажно, он умеет соотносить битые URL с целевым анкором и соответственно целевой страницей.

Чтобы найти битые линки, указываем доменное имя своего сайта в поисковой строке и ждем, пока сайт будет проверен.

Откроется общий отчет, содержащий ошибки, данные по структуре и общую сводку по домену.

Выбираем отчет «Ошибки», затем раздел «Высокая критичность». В нем и будут все интересующие нас данные по битым ссылкам.

Выбираем отчет по ошибке:

Для того чтобы узнать, какие именно URL ссылают на битую ссылку, кликаем по интересующему нас URL правой кнопкой мыши и в контекстном меню выбираем «Входящие ссылки»:

Check My Links

Check My Links – удобное расширение для Google Chrome, позволяющее проверить страницу на наличие битых ссылок.

Особенно удобно, если вы работаете сразу с большим количеством ссылок. Расширение подчеркивает работающие ссылки зеленым, а битые – красным.

Коды ответов HTTP и полные URL-адреса неработающих ссылок расширение отправляет в консоль Google Chrome.

Broken Link Checker

Это функциональное расширение найдет все битые ссылки на странице или на всем сайте сразу.

Когда вы редактируете контент с большим количеством ссылок, такое расширение очень удобно. «Проверка неработающих ссылок» сканирует только выбранную страницу или весь сайт целиком.

Отчет по битым линкам будет готов в течение нескольких минут в зависимости от размеров сайта. Отчет создается напрямую, без установки и запуска каких-либо дополнительных файлов.

Broken Link Checker (плагин для WordPress)

Для вашей CMS можно подобрать подходящий плагин для поиска битых ссылок.

Например, для WordPress рекомендую плагин Broken Link Checker. Он постоянно обновляется, есть неплохая база знаний и довольно большое комьюнити.

Broken Link Checker отслеживает внутренние и внешние ссылки на всех страницах, включая посты, комментарии.

Он учитывает битые изображения и перенаправления. Есть уведомления по электронной почте. Также он предотвращает переход поисковых систем по неработающим ссылкам.

Можно искать «битышей» по прямому URL или анкорному. Редактировать ссылки можно прямо со страницы плагина, не обновляя вручную каждый пост.

Как исправить битые ссылки на сайте

После того, как все сломанные ссылки были собраны, пришло время разобраться с ними по-мужски.

Для начала я советую сделать один общий документ с постраничным перечислением всех сломанных линков. В нем нужно сделать три колонки: главная страница, битая ссылка, ссылка замены.

Такой подход значительно облегчит работу по исправлению сломанных линков на работающие и не даст запутаться.

Заменить неработающую ссылку

Замысел простой – нужно заменить неработающую ссылку на актуальную на всех требующих этого страницах.

Для этого мы заходим на проблемную страницу, смотрим ее адрес и меняем путь ссылки на актуальный вариант:

Для этого логинимся в админке сайта (в используемой CMS) и открываем страницу редактирования записи. Затем меняем URL:

Если же страница вообще перестала быть актуальной, просто удаляем ее:

Если общее количество сломанных URL не превышает нескольких десятков, то справится с этой задачей можно и вручную. Если же битых ссылок очень много, то я советую использовать тот же Netpeak Spider или Ahrefs, так как они не показывают анкоры URL и догадаться об изначальном предназначении ссылки становится немного легче.

Указанный способ – самый эффективный, но он потребует значительных временных затрат.

Необязательно исправлять абсолютно все-все битые ссылки, которые есть на сайте. Достаточно обновить только те страницы, которые приносят самый большой трафик.

Для того чтобы узнать какие страницы самые посещаемые, воспользуйтесь тем же Google Analitics.

Перенаправить с проблемной страницы

Что можно сделать еще, если первый вариант решения проблемы не подходит? Например, сделать перенаправление с проблемной страницы на работающую.

Внимание! Не следует слишком увлекаться внутренней переадресацией, в рамках одного домена. В противном случае могут появиться неприятные последствия.

Например, в виде исключения страницы из индекса или понижения позиций домена в SERP.

Вариант c 301-ым перенаправлением может пригодиться в том случае, когда

• меняется уровень вложенности веб-страниц;
• переименовываются разделы сайта;
• вносятся какие-либо иные изменения в его структурный элемент.

Ваш сайт работает на CMS? Тогда ищите готовый плагин, который позволит настроить редирект страницы без изменений .htaccess.

Для сайта на WordPress рекомендую удобный плагин Redirection. В разделе Add new redirection указываем две ссылки и сохраняем. Все! Редирект настроен.

Удалить битую ссылку

Да, вот так просто. Удалять можно тогда, когда на вашем сайте отсутствуют достаточно релевантные страницы под замену URL. Собственно, здесь уже ничего не поделаешь и лучше удалить, чем плодить битые ссылки.

Восстановить удаленные страницы

Безусловно, битых ссылок может быть очень много, и восстановление каждой страницы может стать нереальной задачей.

В этом случае поступите следующим образом.

В GA посмотрите трафик всех удаленных страниц за последние полгода. Страницы с самой большой посещаемостью просто восстановите. Если контента для них нет, то создайте его заново.

Выводы

Теперь мы точно знаем, что битые URL – это отрицательное явление, способное навредить не только странице, но и всему домену в целом. Их не любят поисковики, они раздражают посетителей. Ухудшение пользовательского опыта – одна из главных проблем битых ссылок.

Решить ее можно, как минимум, при помощи четырех вариантов:

• удалить ссылку;
• сделать перенаправление;
• заменить битый линк на рабочий;
• вручную восстановить удаленную страницу.

Таким образом, всегда можно найти наиболее подходящее решение и сделать сайт удобнее для целевых посетителей.

Что это такое

Если говорить в общем, то битыми называются любые url, при открытии которых пользователи видят 404 ошибку. В свою очередь, broken links делятся на внешние – ведущие на сторонний ресурс, и внутренние – направляющие посетителя на другие страницы вашего сайта.

Чем опасны

Опасность таких урлов заключается в том, что при попадании на них посетитель с большой вероятностью закроет ресурс, что в свою очередь негативно скажется на статистике и поведенческих факторах. 

Вспомните себя, как часто вы остаетесь, когда видите надпись «Страница не найдена»? Также и другие посетители. Неработающие адреса вызывают у них раздражение, тем самым увеличивается число отказов и уменьшается время, проведенное на сайте. 

Еще одна из опасностей 404 url — это потеря трафика. Ссылочный вес просто не передается с неработающих ссылок. 

Откуда берутся

Поиск broken links

Найти битые ссылки на своём сайте можно как с помощью программ, так и с помощью онлайн-сервисов. Далее разберем несколько примеров.

Google Search Console

GSC – это сервис от Гугл, позволяющий отслеживать изменения на ресурсе. Одним из инструментов там является анализ состояния страниц. 

Для того, чтобы проверить наличие 404 url с помощью GSC, необходимо сделать следующее: 

• заходим в аккаунт ресурса в сервисе и выбираем пункт «Покрытие» -> «Полный отчет»;

• здесь нажимаем «Исключено»;

• и видим страницы, которые отдают 404 ответ;

• а также примеры;

Минусом проверки здесь можно считать то, что сервис не показывает местонахождение неработающего урл, если он, например, внешний. Увидеть можно только внутренние страницы. 

Яндекс.Вебмастер

Российский аналог GSC, с похожим функционалом, в том числе и инструментом для поиска битых ссылок. 

Чтобы найти 404 через Y.Webmaster, необходимо:

• заходим в карточку сайта и выбираем раздел «Индексирование», а там «Страницы в поиске»; 

• в открывшейся вкладке выбираем «Исключенные» и ищем пункт «Ошибки HTTP».

• чтобы увидеть сами 404 url, нажимаем “Исключенные страницы” на панели ниже и сортируем по статусу.

Аналогично с Google Search Console Вебмастер не покажет, если ссылка внешняя и где ее искать. Через него можно посмотреть только внутренние нерабочие адреса.

Xenu

Является программой, что, в свою очередь, делает его более удобным для проверки сайта на наличие битых ссылок и поиска их на страницах. 

Для проведения проверки необходимо сделать следующее:

• Запускаем Xenu, добавляем сайт и запускаем проверку.

• Далее необходимо отсортировать url по статусу в столбце “Status”, чтобы 404 были наверху.

• Также можно посмотреть, на каких именно страницах расположена нерабочая ссылка. Для этого кликаем на нее правой кнопкой мыши и выбираем “URL properties”. В самом нижнем поле будет расположен нужный адрес.

Broken Link Checker

Расширение для браузера, позволяющее сканировать как весь сайт, так и отдельные веб-документы на наличие нерабочих url-адресов. 

Как работает BLC:

• Находим и устанавливаем;

• После чего заходим на проверяемый ресурс, открываем плагин и проверка страницы запускается автоматически.

• Также есть возможность полного сканирования. Для этого кликаем “Check All Pages On This Site” и переходим в отдельное окно. Там после проверки будет отображаться результат.

Screaming Frog

Программа с обширным функционалом для технического аудита, в который также входит поиск битых ссылок. Главным преимуществом среди других способов проверки можно назвать общую выгрузку адресов 404 и страниц, на которых они расположены в удобном формате файла. 

Минусом можно считать то, что лимит проверки на бесплатном тарифе составляет всего 500 url, поэтому без приобретения платного пакета подойдет только для маленьких сайтов. 

Как найти ошибки 404 через SF:

• Открываем программу, вставляем адрес и запускаем аудит.

• После выполнения проверки сортируем страницы в столбце “Status Code”, чтобы 404 ошибки сгруппировались вместе.

• Далее выделяем все нужные адреса, на нижней панели нажимаем “Inlinks” и видим наши url и их источники. Там же их можно выгрузить в формате файла.

Здесь можно увидеть как внешние, так и внутренние ссылки с ответом 404, что является максимально удобным способом их обнаружения и устранения.

Dead Link Checker

Онлайн-сервис по поиску “мертвых” страниц. Проверить можно как конкретный адрес, так и весь домен целиком. 

Этапы проверки:

• Заходим на сайт и в поле ввода url добавляем свой. Кликаем “Проверить”. Также будет необходимо ввести капчу.

• После окончания сканирования будет доступен список урл, которые отдают 404 ответ.

Как и у многих таких сервисов, минусом является то, что невозможно посмотреть источник найденных ссылок. 

Как исправить Broken Link?

Обязательно нужно проверить битые ссылки перед стартом SEO продвижения. Без анализа сайта вы рискуете потерять в позициях и трафике. И теперь, когда мы выяснили, как найти нерабочие адреса, стоит поговорить о том, как исключить их со своего домена. 

Заменить неработающий урл

Суть проста – меняем неактуальный адрес на новый, если есть такая возможность. Для этого находим интересующий нас url и его активную версию, если она существует, и меняем одно на другое. Сделать это можно в административной панели. 

Перенаправить с проблемной страницы

Этот способ подойдет только для внутренних ссылок. В этом вам поможет 301 редирект. Он выполнит переадресацию с неработающего урл на действующий. 

Обратите внимание на то, что злоупотреблять перенаправлениями не стоит, так как это может негативно сказаться на позициях и привести к удалению страниц из индекса. 

Если вы все же решили воспользоваться этим способом, в зависимости от CMS можно применить плагин или внести изменения через .htaccess.

Удалить битую ссылку

Самый простой вариант решения проблемы с 404 ответами сервера. Сделать это можно в административной панели. Прибегать к такому способу стоит тогда, когда два других варианта не актуальны в рамках вашего сайта.

Восстановить удаленные страницы

Такой способ подойдет для интернет-магазинов, которые удаляют отсутствующие товары с сайта. Если они снова появились в наличии – просто восстановите документ.

Заключение

Неработающие URL – это отрицательная черта для любого сайта. Они нелюбимы как поисковиками, так и пользователями. Старайтесь следить за этим и вы никогда не потеряете покупателей и позиции.