Вернуться назад

Изменения в обработке robots.txt от Яндекс

14.06.2016
Относится к услуге:Продвижение сайта в Яндексе
​Теперь поисковой робот Яндекс не будет считать пустую директиву Allow запрещающим сигналом.
Изменения в обработке robots.txt от Яндекс

роботс txtТеперь поисковой робот Яндекс не будет считать пустую директиву Allow запрещающим сигналом.

Напомним, что ранее для робота наличие незаполненной Allow в robots.txt было знаком полного запрета — то есть, робот не мог посещать такой сайт, следовательно, он пропадал из поисковой выдачи. Теперь этот момент исправлен.

Команда Яндекс отмечает, что если разработчик хочет намеренно исключить посещение робота, то ему следует обратиться к директиве Disallow следующим образом:

Disallow: *

или

Disallow: /

Проверить, что запрещено, а что разрешено в robots.txt, можно в Яндекс.Вебмастер. Команда в очередной раз напоминает, что сложно переоценить значимость корректного заполнения этого файла.


Вопросы, комментарии

Пока никто не оставлял здесь комментариев.

Новый комментарий