Проиндексировано, несмотря на блокировку в robots.txt — что делать?

Несколько месяцев назад я столкнулся с проблемой — на одном из сайтов, которые я продвигал появились предупреждения в Google Search Console о том, что «мусорные» страницы проиндексированы. И это даже не смотря на то, что они были закрыты от сканирования в robots.txt более 10 месяцев назад.

Я решил разобраться в чём дело и провести ряд SEO-экспериментов с целью узнать что же всё-таки делать с таким видом предупреждений Search Console.

Задача: убрать из индекса страницы с параметрами сортировки ?orderBy

Эксперименты с robots.txt, noindex, follow и canonical

Немного цифр: перед началом экспериментов количество ненужных страниц с параметрами в индексе Google составляло более 1100 штук .

Эксперимент 1. Удалил директиву из robots.txt

Я понимал, что это не даст ничего, но сугубо ради любопытства решил удалить строчки с запретом сканирования этих файлов, и посмотреть как GoogleBot себя поведёт. На удивление, изначально количество страниц в индексе незначительно упало, однако, далее их число снова увеличилось.

Эксперимент 2. Добавил noindex, follow

Следующим шагом было добавление кода в functions.php с запретом к индексации страниц с параметром ?orderBy посредством <meta name=“robots” rel=“noindex, follow”>

В результате, в следующие несколько недель случилось резкое выпадение данных страниц из индекса.

Я уже успел подумать, что это и есть решение, но (!!!) к моему удивлению, GoogleBot начал игнорировать прямой запрет индексации, и новые страницы с параметрами залетали в индекс.

Эксперимент 3. Добавил Canonical

Далее было принято решение все-таки действовать по справке Google и для страниц с дублирующим контентом использовать <link rel=“canonical”> с указанием канонической страницы.

Не сразу, а спустя некоторые время, страницы из индекса начали пропадать. В итоге можно смело заявить, что использование способа с указанием канонической страницы и есть наиболее верным решением в такой ситуации.

На момент публикации статьи количество таких страниц в индексе составляло 443, с динамикой к уменьшению.

Скриншот из Search Console с объяснениями:

robots, canonical, noindex, follow
В таком порядке были проведены тесты
2 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 5 (2 оценок, среднее: 5,00 из 5, вы уже поставили оценку)
Загрузка...

Дата публикации: 07/12/19


Добавить комментарий