Яндекс ускорит индексирование сайтов за счёт отказа от директивы Crawl-delay

06 марта 2018
2427
материал имеет отношение к услуге(-ам):

Яндекс решил отказаться от директивы Crawl-delay, которая регулирует частоту обращения поискового робота к сайту. К сожалению, многие вебмастера забывали прописывать верные значения, поэтому сайт слишком редко обновлялся в поисковой выдаче, и индексация актуальной информации не происходила вовремя.

Теперь Crawl-delay не будет вообще — вместо неё Яндекс выставит автоматическую скорость с учётом допустимой для сервера нагрузки. При этом осталась возможность устанавливать переменные вручную при помощи нового инструмента «Скорость обхода» в «Инструментах» Яндекс.Вебмастера. В нем можно указать, как часто поисковой робот должен обращаться к сайту.

Настройки «Скорости обхода», заменившего собой Crawl-delay, можно выставить уже сегодня. Инструмент начал работать с 22 февраля.