В Яндекс Вебмастере появился новый инструмент «Настройка GET‑параметров», который позволяет управлять тем, какие URL с параметрами будут попадать в индекс, а какие поисковик будет игнорировать как дубли или «мусорные» адреса. Это помогает очистить индекс от лишних вариантов страниц и уменьшить нагрузку на сайт. Да, ранее можно было использовать noindex для тега meta name=robots, или clean-param в robots.txt, но теперь это еще можно делать и через интерфейс Вебмастера.
Суть инструмента
В Яндекс Вебмастере есть раздел, где собирается список GET‑параметров, которые робот уже нашёл на сайте (например, utm_*, sort, page, session и т.п.). Для каждого параметра можно указать, влияет ли он на содержимое страницы или нет, и нужно ли индексировать такие URL.
Если параметр влияет на контент (фильтры каталога, важная пагинация), его отмечают как значимый, и такие URL остаются в индексе. Если параметр служебный (метки аналитики, сортировка, трекинг, фильтрация), его можно обозначить как незначимый, чтобы робот не создавал из них множество дублей.
Как с этим работать
- Открыть инструмент «Настройка GET‑параметров» в Яндекс Вебмастере для нужного сайта.
- Просмотреть список параметров, которые уже нашёл робот.
- Решить для каждого параметра, важен ли он для содержания страницы или это просто техническая «приписка» к URL.
- При необходимости добавить параметры вручную и задать для них правила для всего сайта, только для главной или для конкретного раздела.
- Удалять можно только те параметры, которые добавлены вручную, а найденные роботом удалить нельзя, но можно менять режим их учёта при индексации.
Если настройки в Вебмастере противоречат директиве clean-param в robots.txt, приоритет получает правило, которое запрещает индексацию URL с этим параметром.
Преимущества решения
- Снижается количество дублей страниц в индексе за счёт отсеивания URL с «шумовыми» параметрами.
- Уменьшается нагрузка на сайт, потому что робот меньше ходит по техническим и повторяющимся страницам.
- В индексе остаются только те варианты страниц, которые реально нужны для поиска.
- Можно частично заменить сложную ручную настройку robots.txt более наглядным интерфейсом в Вебмастере.
Возможные недостатки и риски
- Неправильная классификация параметра: помечаете значимый параметр как незначимый и теряете важные страницы (например, страницы с фильтрами, которые должны ранжироваться сами по себе).
- Параллельная настройка robots.txt и Вебмастера усложняет отладку: при конфликте выигрывает более жёсткий запрет, и можно не сразу понять, почему URL пропал из индекса.
- Требуется разовое, но довольно внимательное «разбор полётов» по всем параметрам сайта, особенно если CMS генерирует много служебных хвостов.
Практические рекомендации
Перед настройкой собрать список всех типов параметров на сайте (фильтры, пагинация, сортировка, трекинг, авторизация, корзина, поиск и т.д.) и прописать для себя, какие из них реально формируют уникальный контент.
Пагинацию типа page=2,3… обычно оставляют значимой, а вот параметры сортировки часто можно сделать незначимыми, если сортировка не создаёт отдельные посадочные страницы с ценностью для поиска.
UTM‑метки, click‑id, session‑id, ref и другие трекинговые параметры почти всегда стоит объявить незначимыми, чтобы не плодить дубли и не засорять отчёты в Вебмастере.
После изменения настроек желательно отслеживать:
- динамику числа проиндексированных страниц;
- ошибки индексации и предупреждения по URL с параметрами;
- поведение робота в логах (уменьшение «мусорных» обходов).
Ссылка на новость — https://webmaster.yandex.ru/blog/clean-param