Robots.txt

Вопрос: что такое robots.txt?

Определение

Robots.txt — файл, регулирующий допуск или, наоборот, запрет на посещение определенных разделов сайта, веб-страниц или всего сайта в целом поисковыми роботами для последующего отображения или скрытия страниц/разделов сайта в поисковой выдаче.

Связанные термины: Поисковый робот (веб-паук, веб-краулер, бот)  Веб-страница (web page)  Веб-сайт (сайт, website, site)  Поисковая выдача (SERP) 

Материалы позаимствованы с сайта "Википедия" или других открытых источников информации.