Яндекс решил отказаться от директивы Crawl-delay, которая регулирует частоту обращения поискового робота к сайту. К сожалению, многие вебмастера забывали прописывать верные значения, поэтому сайт слишком редко обновлялся в поисковой выдаче, и индексация актуальной информации не происходила вовремя.
Теперь Crawl-delay не будет вообще — вместо неё Яндекс выставит автоматическую скорость с учётом допустимой для сервера нагрузки. При этом осталась возможность устанавливать переменные вручную при помощи нового инструмента «Скорость обхода» в «Инструментах» Яндекс.Вебмастера. В нем можно указать, как часто поисковой робот должен обращаться к сайту.
Настройки «Скорости обхода», заменившего собой Crawl-delay, можно выставить уже сегодня. Инструмент начал работать с 22 февраля.