Robots.txt es un archivo de texto que permite al administrador de web o administrador de un sitio web informar a los motores de búsqueda (también llamados rastreadores) la información que pueden analizar. Está destinado exclusivamente a los robots de indexación , no prohíbe el acceso de una página o directorio a un usuario. El origen del archivo robots.txt. Este archivo que ya …
El archivo robots.txt y el SEO, una historia de amor.Read More