Cómo crear un archivo ideal de WordPress Robots.txt para SEO

El archivo Robots.txt es uno de los archivos más importantes que tiene en el servidor de su sitio web. Es tan importante que un archivo robots.txt incorrectamente escrito puede incluso desconectarte de los motores de búsqueda.

Entonces, en esta guía, le mostraré cómo crear un archivo robots.txt para su sitio web y blog de WordPress.

SEO se compone de muchos factores, pero en primer lugar, todo comienza con un rastreo. Por lo tanto, antes de pasar a robots.txt, es importante que entienda lo que se está rastreando en un motor de búsqueda.

¿Qué es un rastreador de motor de búsqueda?

Los motores de búsqueda tienen programas llamados rastreadores también conocidos como «bots» o «web-spiders».

Estos rastreadores visitan, escanean y leen todas las páginas web a su alcance para preparar un índice del motor de búsqueda de todos los enlaces conocidos que incluye información sobre el contenido de las páginas y otra información.

El trabajo de estos rastreadores es recorrer toda la web y descubrir nuevas publicaciones, sitios web y otras actualizaciones que se producen en la web.

Los rastreadores tienen un presupuesto fijo , un límite sobre cuánto pueden rastrear un sitio web y el tiempo que tardan en hacerlo. – Esto se conoce como límite de frecuencia de rastreo o presupuesto.

También depende de la demanda de rastreo, que es la cantidad de URL y páginas que un rastreador desea y necesita rastrear en su sitio web.

Si deja que el bot rastree partes innecesarias de su sitio web y se alcanza el límite de la velocidad de rastreo o si se cumple la demanda, dejará su sitio y es posible que no rastree las páginas importantes que desea clasificar en Google.

Qué es Robots.txt

Los rastreadores siguen los enlaces a todas las demás páginas de un sitio web hasta que se han leído todas las páginas y se usa robots.txt para dar al rastreador una instrucción para detenerlo o controlarlo.

Robots.txt le dice a los rastreadores que dejen un solo o grupo específico de páginas y enlaces de rastreo. Si los robots no los rastrean, probablemente no aparecerán en las páginas de resultados de los motores de búsqueda.

Depende del rastreador, si obedece lo que el archivo robots.txt ha indicado, no puede forzarlos.

Robots.txt es un archivo de texto ubicado en la carpeta raíz de su servidor. Véase el ejemplo .

También se conoce como «protocolo de exclusión de robots y estándar de exclusión de robots». Hablan y entienden un lenguaje especial conocido como protocolo de exclusión de robots. 

Un rastreador de motores de búsqueda cuando visita su sitio web, robots.txt es lo primero que verifica. Seguirá las instrucciones dadas en su archivo o las ignorará.

El rastreador del motor de búsqueda es menos probable que ignore la instrucción de robots.txt, es el malware o los bots malos los que los ignorarán cada vez y usted no puede hacer nada para detenerlos.

Fundamentos De Robots.txt

Hay algunos comandos de instrucción que necesita saber, a saber:

1. Agente de usuario: *
2. Permitir: /
3. No permitir: /

Los 3 comandos básicos anteriores forman todos los archivos robots.txt.

Primero, escribe un agente de usuario:

Agente de usuario: *

Cuando quieres permitir que un bot rastree una página de tu sitio web, utilizas:

Permitir: /

Cuando no desee que se rastree ninguna de su página, utilice:

No permitir: /

Por lo general, solo querrá rechazar páginas específicas, por lo que, después de la barra, es importante que proporcione una URL de enlace. Si simplemente usa el comando no permitido como se muestra arriba, detendrá a los rastreadores para rastrear cualquiera de sus páginas web.

II en la mayoría de los casos, no dejará que eso suceda, por lo que, después del comando no permitido, coloca una URL que no desea que rastreen los rastreadores.

Las instrucciones básicas de Robots.txt para un blog de WordPress:

A continuación, he escrito un comando básico de robots.txt para WordPress que puedes copiar y pegar para usarlo en tu blog:

Agente de usuario: *
No permitir: / wp-admin /

Permitir: /wp-admin/admin-ajax.php

El uso de los comandos anteriores en su archivo robots.txt es básico.

SEO Optimizado Robots.txt

Agente de usuario: * 
No permitir: / cgi-bin / 
No permitir: / wp-admin / 
No permitir: /? * 
No permitir: /index.php 
No permitir: /xmlrpc.php

WordPress tiene su página de inicio de sesión a través de la URL » /wp-admin » y esta página no tiene ningún valor para los motores de búsqueda . Es mejor bloquearlos.

De manera similar, la página “/ index” es una página importante que no querrá aparecer en los motores de búsqueda porque consiste en sus archivos ubicados en su servidor. Tú también los bloqueas.

Luego, «/ xmlrpc», se usa para pingbacks y trackbacks en WordPress y también debe agregar «/? *» En el comando no permitir. Bloqueará los bots para escanear los resultados de búsqueda internos y ayudará en la prevención de páginas duplicadas y demasiadas.

Esto ayuda a ahorrar mucho presupuesto de rastreo .

Cómo crear un archivo Robots.txt

Primero, debe verificar si ya tiene un archivo robots.txt o no.

Vaya a » yourdoman.com/robots.txt» para verificar.

* Reemplaza «tudominio.com» con el dominio de tu sitio web .

Si lo hay, genial puedes simplemente editarlo. Si no hay un archivo robots.txt en su servidor, eso significa que tendrá que crearlo.

Hay una forma muy sencilla de crear un archivo robots.txt para su sitio web de WordPress: instalar el complemento Squirrly.

Squirrly es un complemento de SEO que creará automáticamente un archivo robots.txt para su sitio web al activarlo. Puedes editarlo yendo a la configuración avanzada:

Sin embargo, no crea un archivo robots.txt físico, por lo que si en el futuro elimina este complemento y sus datos, su archivo robots.txt también se perderá. WordPress crea un archivo robots.txt virtual en su servidor si no hay uno. Para editarlo puedes usar Squirrly o Yoast.

Le recomiendo que cree y cargue un archivo robots.txt en su servidor.

1. Acceda a su servidor en el nivel FTP.

Primero debe instalar un cliente FTP en su PC para acceder a los archivos de su servidor web. Prefiero Filezilla para hacer esto.

Instale Filezilla y conéctese a su servidor usando su nombre de usuario y contraseña de FTP / SFTP. Si no los conoce, consulte a su proveedor de alojamiento.

2. Encuentra el archivo robots.txt en public.html

Haga clic en la carpeta public.html en su área de servidor FTP. A continuación verá el archivo robots.txt. Si no tiene un archivo robots.txt, puede que no lo vea. En este caso tendrás que crear uno.

3. Abra un editor de texto

El bloc de notas funcionaría. Abra el Bloc de notas en su PC y copie / pegue esta instrucción de robots.txt:

Agente de usuario: *
No permitir: /wp-admin
No permitir: /xmlrpc
No permitir: /index.php

Permitir: /wp-admin/admin-ajax.php

También puede agregar su mapa del sitio aquí, pero no es necesario hacerlo.

Guarda este archivo de texto y llámalo robots. Asegúrese de poner la extensión «.txt» y no agregue «.txt» en el campo de nombre.

4. Subelo a la raíz de su servidor.

Vuelva a Filezilla y haga clic en la carpeta public.html.

Arrastre y suelte su archivo robots.txt en el espacio en blanco en el lado izquierdo de la pantalla de su computadora.

Eso es. Su archivo robots.txt está ahora en vivo.

Espero que ahora sepa cómo preparar un archivo robots.txt optimizado para SEO para su sitio web de WordPress. Ahora, el rastreador del motor de búsqueda no rastreará páginas inútiles de su sitio web y blog ahorrando el presupuesto de rastreo.

Esto les permitirá rastrear todas las páginas importantes que desea clasificar.