Robots.txt

В индексных файлах Robots.txt содержатся данные о том, какую информацию на сайте разрешено обрабатывать. Они позволяют ограничивать количество запросов на сканирование, что значительно уменьшает нагрузку на ресурс. Также они управляют трафиком поисковых ботов и можно исключить контент, представленный на странице, из поисковой выдачи Google.

pre-loader