Robots.txt

Определение

Robots.txt — файл, регулирующий допуск или, наоборот, запрет на посещение определенных разделов сайта, веб-страниц или всего сайта в целом поисковыми роботами для последующего отображения или скрытия страниц/разделов сайта в поисковой выдаче.

Связанные термины: Поисковый робот (веб-паук, веб-краулер, бот)  Веб-страница (web page)  Веб-сайт (сайт, website, site)  Поисковая выдача (SERP) 

Материалы позаимствованы с сайта "Википедия" или других открытых источников информации.


Логотип ООО «Инфра»
Не знаете с чего начать?
Опишите в свободной форме нам свои бизнес-задачи, и мы предложим проверенные решения