Джон Мюллер: noindex не экономит краулинговый бюджет

В своём твиттере представитель поиска Google Джон Мюллер написал, что использование метатега noindex не снижает краулинговый бюджет сайта. Позже он отметил, что то же самое касается rel=canonical.

Связано это с тем, что при поиске метатегов Googlebot сканирует всю страницу, расходуя таким образом краулинговый бюджет. Метатег noindex не позволит боту проиндексировать сайт, но едва ли сэкономит средства.

rel=canonical также не экономит бюджет, поскольку Googlebot всё равно будет сканировать не только каноническую страницу: ему нужно убедиться, что остальные разделы действительно являются дубликатами.