Robots.txt

Los archivos de índice Robots.txt contienen información sobre qué información se puede procesar en el sitio. Le permiten limitar la cantidad de solicitudes de escaneo, lo que reduce significativamente la carga en el recurso. También controlan el tráfico del motor de búsqueda y pueden excluir contenido de una página de búsqueda de Google.

pre-loader