Robots.txt

В індексних файлах Robots.txt містяться дані про те, яку інформацію на сайті можна обробляти. Вони дають змогу обмежувати кількість запитів на сканування, що значно зменшує навантаження на ресурс. Також вони керують трафіком пошукових роботів і можна виключити контент, представлений на сторінці з пошукової видачі Google.

pre-loader