Сканирование и индексирование обновлённого файла robots.txt можно ускорить. Об этом рассказал специалист службы качества поиска Google Джон Мюллер (John Mueller) на форуме Google Webmaster Help.

«Вы можете ускорить обработку Google последней версии robots.txt (обычно, мы делаем это раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию,  и сможете отправить в Google изменённый файл для повторного сканирования», — пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

google-submit-robots-txt-1451913678.png

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.


Источник: Google: как ускорить индексирование новой версии файла robots.txt

Рубрики: SEO