Сканирование и индексирование обновлённого файла robots.txt можно ускорить. Об этом рассказал специалист службы качества поиска Google Джон Мюллер (John Mueller) на форуме Google Webmaster Help.

«Вы можете ускорить обработку Google последней версии robots.txt (обычно, мы делаем это раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию,  и сможете отправить в Google изменённый файл для повторного сканирования», — пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

google-submit-robots-txt-1451913678.png

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.


Источник: Google: как ускорить индексирование новой версии файла robots.txt

Рубрики: SEO

Похожие записи

SEO

Переезд сайта с http на https без потерь в SEO

Установить SSL сертификат на хостинге. Существуют как платные варианты SSL сертификата, так и бесплатные от Let’s Encrypt (необходимо продлять каждые 3 месяца) или WoSign (сроком от 1 до 3-х лет). Все ссылки на сайте привести Подробнее…

SEO

6 SEO-экспериментов с вовлеченностью пользователей

В области поисковой оптимизации нет недостатка в теориях и рекомендациях. Но вперёд отрасль двигают эксперименты. Все актуальные лучшие практики – это результат проведённых ранее экспериментов – как успешных, так и провальных. Всё, что мы делаем в Подробнее…

SEO

Как составить ТЗ для копирайтера. Подробная инструкция с примером

Кейс подготовлен и представлен специалистом по контент-маркетингу и seo-оптимизации Яценко Евгением. В первой статье мы рассматривали, как с помощью контента и оптимизации увеличить прирост трафика из поисковых систем (ознакомьтесь с ней перед продолжением чтения этой Подробнее…