Теперь поисковой робот Яндекс не будет считать пустую директиву Allow запрещающим сигналом.
Напомним, что ранее для робота наличие незаполненной Allow в robots.txt было знаком полного запрета — то есть, робот не мог посещать такой сайт, следовательно, он пропадал из поисковой выдачи. Теперь этот момент исправлен.
Команда Яндекс отмечает, что если разработчик хочет намеренно исключить посещение робота, то ему следует обратиться к директиве Disallow следующим образом:
Disallow: *
или
Disallow: /
Проверить, что запрещено, а что разрешено в robots.txt, можно в Яндекс.Вебмастер. Команда в очередной раз напоминает, что сложно переоценить значимость корректного заполнения этого файла.
