El archivo robots.txt es uno de los
olvidados dentro de las páginas web en general, tanto en ecommerce como en blogs o en landing pages. Pero este archivo bien
optimizado puede ayudarte mucho en el
SEO, es decir, el
escalado de posiciones en Google.
En este artículo os voy a enseñar a
crear y optimizar un archivo robots.txt perfecto el cual espero que os ayude en vuestro posicionamiento web.
¡Ojo! No os voy a dar una plantilla para que copiéis y peguéis en un archivo .txt ya que cada página tiene es única y tiene sus entresijos.
Lo que yo os voy a enseñar es a optimizar y conocer este archivo para que vosotros adecuéis estos consejos de forma que, seáis unos expertos en la optimización del robots.txt en tu sitio.
Así que vamos a ello, empecemos a optimizar este archivo tan olvidado e importante a la vez.
¿Qué es robots.txt?
El archivo robots.txt es el encargado de
impedir el rastreo e indexación de ciertas páginas de tu web a Google.
Y os preguntaréis ¿y por qué debería impedir que Google entre en alguna de mis páginas? Pues muy fácil, porque o bien
no poseen contenido suficiente para obtener un buen posicionamiento o porque es parte del
panel de administración o por algún follón de
programación.
Sabiendo esto, deberíais hacer un
análisis de vuestra página web y elegir qué páginas queréis que sean indexadas y cuales no.
En el caso de que estés perdido y no tengas idea de por dónde empezar a impedir el acceso a Google en tu ecommerce, presta
atención al siguiente punto.
Páginas que Normalmente se Añaden en robots.txt
En este punto del artículo te voy a enseñar las
principales páginas a las que todo el mundo suele impedir el acceso a Google.
Páginas de Administración: Ya sea que utilices WordPress, Magento, Prestashop o una plataforma propia, es altamente recomendable que bloquees en el archivo robots.txt el panel de administración del mismo. Un ejemplo sería el
/wp-admin/ de un WordPress.
Páginas de Login o Registro: En el caso de que las páginas de acceso de personas registradas esté
nulo de contenido, recomiendo también su bloqueo en el archivo robots.txt.
Páginas "Puente": En mi caso, en muchas webs en las que he trabajado habían páginas puentes que simplemente ejecutaban un
script de código para hacer alguna acción dentro de la web. Estas páginas también deberían ser denegadas por nuestro archivo robots.txt.
Páginas sin Apenas Contenido: Todos los ecommerce tienen ciertas páginas las cuales carecen de contenido, estás páginas pueden
afectarte negativamente en el posicionamiento, por lo que te recomiendo que las añadas también al archivo robots.txt de tu sitio.
Estas serían para mí las principales páginas a las cuales
denegaría el acceso a Google para que las rastree e indexe.
A continuación te explicaré
cómo configurar el archivo robots.txt para que puedas empezar a trabajar sobre él.
Cómo Configurar el Archivo robots.txt
Para configurar el archivo robots.txt de nuestra web, primero tendremos que
crearlo, esto se hace a partir de un
bloc de notas, lo abrimos y en él empezamos a escribir lo siguiente.
User-agent: *
En los archivos robots.txt que creemos ésta debe ser
siempre nuestra primera línea.
Lo que pretendemos añadiendo esta línea es decirle a Google que queremos que
todos sus robots rastreen nuestra web.
Es bueno
tener en cuenta los tipos de robots rastreadores que hay en Google para que si queremos bloquear el acceso a alguno, sepamos su nombre y cómo hacerlo. En este
enlace podrás ver los
nombres de todos nuestros amigos de hojalata provenientes de Google.
Tras esta línea empezaremos a colocar las paginas que queremos que Google no indexe ni rastree.
Para ello
colocaremos una línea con el código.
Disallow: /
Como bien dice la palabra "Disallow" con este comando
deshabilitaremos el acceso a los robots de Google a las páginas que pongamos tras el Disallow.
En el caso de poner como en el ejemplo "Disallow: /" haremos que Google
no rastree ninguna de las páginas internas de nuestro ecommerce.
Si queremos
denegar el acceso a ciertas páginas, por ejemplo wp-admin como dije anteriormente, pondremos
"Disallow: /wp-admin/". Este formato lo utilizaremos con todas las páginas a las que queramos deshabilitar.
¡Cuidado! Al poner una ruta, vas a capar tanto la
página de esa ruta como todas las subpáginas que cuelgan de ella, por lo que si por ejemplo solo queremos denegar el acceso a la pagina-1 dentro de la pagina-master, pondremos:
"Disallow /pagina-master/pagina-1".
En el caso de que queramos prohibir el acceso a todas las páginas excepto una con un Disallow, tenemos la opción de poner
Allow para permitir a esa página ser indexada.
Allow: /wp-admin/pagina-1/
De esta forma permitiremos a Google
rastrear la página-1 dentro de /wp-admin/. Para tener un seguimiento de cómo quedaría un archivo
robots.txt completo con esta opción os lo facilito a continuación:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/pagina-1/
Con este robots.txt
no se indexará ninguna página de /wp-admin/ excepto /pagina-1/.
Es recomendable adjuntar el
sitemap.xml de nuestro ecommerce en el archivo robots.txt.
Para ello utilizaremos el código:
Sitemap: http://midominio.com/sitemap.xml
De esta forma ayudaremos a Google a
conocer un poco más la estructura de nuestra web.
Para crear un sitemap en WordPress podemos utilizar
plugins como
"XML Sitemap" o
"Yoast SEO" aunque yo
recomiendo utilizar el primero.
Hay otras opciones como las de
"nofollow" y
"noindex" que también podemos añadirlas a nuestro archivo robots.txt. Sin embargo, estas opciones recomiendo ponerlas en nuestro archivo
html dentro de la etiqueta
<head>.
Lo haremos de la siguiente forma:
<meta name="robots" content="noindex,nofollow">
Ojo con esto, ya que
impediríamos a Google rastrear e indexar todo nuestro sitio, por lo que si lo pones por alguna razón acuérdate de quitarlo luego (que ya me he encontrado alguna web con esta etiquetita puesta).
Si simplemente queremos que
Google no nos indexe pondremos:
<meta name="robots" content="noindex">
En el caso de que
no queramos que nos rastree lo que colocaríamos sería:
<meta name="robots" content="nofollow">
Con esto deberíais saber
crear un robots.txt perfecto en vuestra web, por lo que os animo a poneros a ello.
Lo que nos faltaría por saber es cómo subirlo para que Google lo tenga en cuenta.
Cómo Enviar el Archivo robots.txt
Para
subirlo y que Google nos tenga en cuenta, deberemos ir a nuestra
Search Console de Google, dentro de la opción
Rastreo > Probador de robots.txt y copiar todo en la caja de texto y darle a enviar.
También recomiendo ponerlo en el
directorio raíz de nuestra web, esto lo podremos hacer con un
cliente de FTP como
Filezilla.
Pero ojo, con un archivo robots.txt perfecto
no posicionarás como un Dios por lo que te recomiendo que eches un ojo a nuestros
Másters en Ecommerce y Marketing Digital, tanto en su versión
presencial como en la
online.