En este artículo de ecommaster.es os enseñaremos a crear y optimizar un archivo robots.txt perfecto el cual espero que os ayude en vuestro posicionamiento web.
El archivo robots.txt es uno de los olvidados dentro de las páginas web en general, tanto en ecommerce como en blogs o en landing pages. Pero este archivo bien optimizado puede ayudarte mucho en el SEO, es decir, el escalado de posiciones en Google.
¡Ojo! No os proporcionaremos una plantilla para copiar y pegar en un archivo .txt ya que cada página es única y tiene sus entresijos.
Lo que os enseñaremos hoy es a optimizar y conocer este archivo para que vosotros adecuéis estos consejos de forma que, seáis unos expertos en la optimización del robots.txt en tu sitio.
Así que vamos a ello, empecemos a optimizar este archivo tan olvidado e importante a la vez.
🤖 ¿Qué es el archivo robots.txt y para qué sirve?
El archivo robots.txt es el encargado de impedir el rastreo e indexación de ciertas páginas de tu web a Google.
Y os preguntaréis ¿y por qué debería impedir que el rastreador de Google entre en alguna de mis páginas? Pues muy fácil, porque o bien no poseen contenido suficiente para obtener un buen posicionamiento o porque es parte del panel de administración o por algún follón de programación. En resumen, para que evitar que encuentre contenido no relevante.
El archivo robots.txt es un archivo de texto simple que se encuentra en la raíz de tu sitio web WordPress y que le indica a los robots de los motores de búsqueda qué páginas o recursos pueden rastrear y cuáles no.
Es fundamental para el SEO técnico, ya que permite controlar el comportamiento de Googlebot, Bingbot y otros. Un mal uso puede ocultar páginas importantes o dejar al descubierto contenido irrelevante. Tener un robots.txt optimizado es clave para mejorar el rendimiento y la visibilidad de tu sitio web en Google.
Sabiendo esto, deberíais hacer un análisis de vuestra página web y elegir qué páginas queréis que sean indexadas y cuales no.
En el caso de que estés perdido y no tengas idea de por dónde empezar a impedir el acceso a Google en tu ecommerce, presta atención al siguiente punto.
🧭 ¿Dónde se encuentra el archivo robots.txt en WordPress?
En WordPress, por defecto, el archivo robots.txt es virtual y se genera automáticamente. Puedes visualizarlo añadiendo /robots.txt al final de tu dominio (por ejemplo, tusitio.com/robots.txt). Para editarlo de forma personalizada, lo ideal es crearlo manualmente en la carpeta raíz de tu instalación (normalmente en /public_html/) mediante FTP, o usar un plugin SEO como Yoast SEO o Rank Math que permite modificarlo fácilmente desde el panel de control
📈 ¿Cómo influye el robots.txt en el SEO?
Un buen robots.txt no mejora directamente el posicionamiento, pero sí mejora la eficiencia del rastreo, evitando que Google malgaste su presupuesto de rastreo (crawl budget) en páginas poco relevantes. Al dirigir correctamente el rastreo hacia el contenido importante, tu sitio se indexa mejor, más rápido y con menos errores.
🛠️ ¿Cómo crear un archivo robots.txt perfecto para WordPress?
Un archivo robots.txt efectivo debe equilibrar dos cosas: permitir el rastreo del contenido importante y bloquear el acceso a recursos innecesarios como carpetas internas, archivos duplicados o páginas de administración. Además, debe incluir la ruta del sitemap XML para ayudar a los motores de búsqueda a encontrar todo tu contenido. A continuación te mostramos cómo debe estructurarse.
🧩 Diferencias entre robots.txt, meta robots y X-Robots-Tag
Es importante no confundir robots.txt con la metaetiqueta meta robots ni con las cabeceras X-Robots-Tag. Mientras el robots.txt impide el rastreo, las otras dos controlan la indexación. Puedes combinar ambas para un control más preciso, por ejemplo: bloquear el rastreo de páginas privadas en robots.txt, pero usar noindex para desindexar páginas accesibles.
🔌 ¿Cómo editar robots.txt desde el panel de WordPress?
Con plugins como Yoast SEO, puedes editar tu archivo robots.txt directamente desde el administrador de WordPress sin necesidad de FTP. Solo tienes que ir a «SEO > Herramientas > Editor de archivos» y allí podrás modificar el contenido. Es una forma rápida y segura de tener control total sobre el comportamiento de los bots en tu sitio.
Páginas que Normalmente se Añaden en robots.txt
En este punto del artículo os enseñamos las principales páginas a las que todo el mundo suele impedir el acceso a Google.
Páginas de Administración: Ya sea que utilices WordPress, Magento, Prestashop o una plataforma propia, es altamente recomendable que bloquees en el archivo robots.txt el panel de administración del mismo. Un ejemplo sería el /wp-admin/ de un WordPress.
Páginas de Login o Registro: En el caso de que las páginas de acceso de personas registradas esté nulo de contenido, recomiendo también su bloqueo en el archivo robots.txt.
Páginas «Puente»: En mi caso, en muchas webs en las que he trabajado habían páginas puentes que simplemente ejecutaban un script de código para hacer alguna acción dentro de la web. Estas páginas también deberían ser denegadas por nuestro archivo robots.txt.
Páginas sin Apenas Contenido: Todos los ecommerce tienen ciertas páginas las cuales carecen de contenido, estás páginas pueden afectarte negativamente en el posicionamiento, por lo que te recomiendo que las añadas también al archivo robots.txt de tu sitio.
Estas serían para mí las principales páginas a las cuales denegaría el acceso a Google para que las rastree e indexe.
A continuación te explicaré cómo configurar el archivo robots.txt para que puedas empezar a trabajar sobre él.
Cómo Configurar el Archivo robots.txt
Para configurar el archivo robots.txt de nuestra web, primero tendremos que crearlo, esto se hace a partir de un bloc de notas, lo abrimos y en él empezamos a escribir lo siguiente.
User-agent: *
En los archivos robots.txt que creemos ésta debe ser siempre nuestra primera línea.
Lo que pretendemos añadiendo esta línea es decirle a Google que queremos que todos sus robots rastreen nuestra web.
Es bueno tener en cuenta los tipos de robots rastreadores que hay en Google para que si queremos bloquear el acceso a alguno, sepamos su nombre y cómo hacerlo. En este enlace podrás ver los nombres de todos nuestros amigos de hojalata provenientes de Google.
Tras esta línea empezaremos a colocar las paginas que queremos que Google no indexe ni rastree.
Para ello colocaremos una línea con el código.
📝 Ejemplo de robots.txt optimizado para WordPress
Sintaxis de robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search
Sitemap: https://tusitio.com/sitemap_index.xml
Este archivo bloquea carpetas sensibles que no deben ser rastreadas, permite la funcionalidad Ajax, y evita que los motores indexen resultados de búsqueda internos. Además, incluye el enlace al sitemap, lo cual es crucial para el SEO moderno.
Configurar Disallow en robots.txt
Disallow: /
Como bien dice la palabra «Disallow» con este comando deshabilitaremos el acceso a los robots de Google a las páginas que pongamos tras el Disallow.
En el caso de poner como en el ejemplo «Disallow: /» haremos que Google no rastree ninguna de las páginas internas de nuestro ecommerce.
Si queremos denegar el acceso a ciertas páginas, por ejemplo wp-admin como dije anteriormente, pondremos «Disallow: /wp-admin/«. Este formato lo utilizaremos con todas las páginas a las que queramos deshabilitar.
¡Cuidado! Al poner una ruta, vas a capar tanto la página de esa ruta como todas las subpáginas que cuelgan de ella, por lo que si por ejemplo solo queremos denegar el acceso a la pagina-1 dentro de la pagina-master, pondremos: «Disallow /pagina-master/pagina-1».
En el caso de que queramos prohibir el acceso a todas las páginas excepto una con un Disallow, tenemos la opción de poner Allow para permitir a esa página ser indexada.
Configurar Allow en robots.txt
Allow: /wp-admin/pagina-1/
De esta forma permitiremos a Google rastrear la página-1 dentro de /wp-admin/. Para tener un seguimiento de cómo quedaría un archivo robots.txt completo con esta opción os lo facilito a continuación:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/pagina-1/
Con este robots.txt no se indexará ninguna página de /wp-admin/ excepto /pagina-1/.
Es recomendable adjuntar el sitemap.xml de nuestro ecommerce en el archivo robots.txt.
Para ello utilizaremos el código:
Sitemap: http://midominio.com/sitemap.xml
De esta forma ayudaremos a Google a conocer un poco más la estructura de nuestra web.
Para crear un sitemap en WordPress podemos utilizar plugins como «XML Sitemap» o «Yoast SEO» aunque yo recomiendo utilizar el primero.
Hay otras opciones como las de «nofollow» y «noindex» que también podemos añadirlas a nuestro archivo robots.txt. Sin embargo, estas opciones recomiendo ponerlas en nuestro archivo html dentro de la etiqueta <head>.
Lo haremos de la siguiente forma:
<meta name=»robots» content=»noindex,nofollow»>
Ojo con esto, ya que impediríamos a Google rastrear e indexar todo nuestro sitio, por lo que si lo pones por alguna razón acuérdate de quitarlo luego (que ya me he encontrado alguna web con esta etiquetita puesta).
Si simplemente queremos que Google no nos indexe pondremos:
<meta name=»robots» content=»noindex»>
En el caso de que no queramos que nos rastree lo que colocaríamos sería:
<meta name=»robots» content=»nofollow»>
Con esto deberíais saber crear un robots.txt perfecto en vuestra web, por lo que os animo a poneros a ello.
Lo que nos faltaría por saber es cómo subirlo para que Google lo tenga en cuenta.
Curso Ecommerce Online
Aprende de los mejores profesionales, CEOs y CMOS del sector Ecommerce en España. Clases todos los miércoles en directo
Cómo Enviar el Archivo robots.txt
Para subirlo y que Google nos tenga en cuenta, deberemos ir a nuestra Search Console de Google, dentro de la opción Rastreo > Probador de robots.txt y copiar todo en la caja de texto y darle a enviar.
También recomiendo ponerlo en el directorio raíz de nuestra web, esto lo podremos hacer con un cliente de FTP como Filezilla.
Pero ojo, con un archivo robots.txt perfecto no posicionarás como un Dios por lo que te recomiendo que eches un ojo a nuestros Másters en Ecommerce y Marketing Digital, tanto en su versión presencial como en la online.
🚫 Qué NO debes bloquear en tu robots.txt
Uno de los errores más comunes en robots.txt es bloquear recursos necesarios para que Google renderice bien tu sitio, como hojas de estilo CSS o archivos JavaScript. Antes de añadir reglas restrictivas, utiliza herramientas como Google Search Console > Probador de robots.txt para comprobar si estás bloqueando contenido esencial. Evita también bloquear URLs que realmente quieras indexar, como entradas, páginas o categorías.
⚙️ Robots.txt y Sitemap: una combinación ganadora
Incluir el sitemap en tu robots.txt ayuda a los motores de búsqueda a descubrir más fácilmente todas las URLs relevantes de tu sitio. Asegúrate de que la URL del sitemap sea accesible públicamente y que esté actualizada. Esto se puede generar automáticamente con Yoast SEO, Rank Math o Google XML Sitemaps.
🧪 Cómo probar tu archivo robots.txt
Una vez creado o editado tu archivo robots.txt, es fundamental probarlo en Google Search Console para asegurarte de que las reglas no bloqueen contenido importante. Utiliza la herramienta de inspección de URLs para verificar qué páginas están permitidas y cuáles no. También puedes usar el «Probador de robots.txt» si tu dominio está verificado en GSC.
📦 ¿Puedo usar un robots.txt personalizado si uso CDN o plugins de caché?
Sí, pero debes tener en cuenta que algunos CDN como Cloudflare o plugins de caché como WP Rocket pueden alterar la forma en la que Google accede a tus recursos. Siempre revisa que el archivo robots.txt que entregas al navegador sea el correcto y que tu CDN no lo esté cacheando de forma errónea. Puedes revisar esto con herramientas como curl o navegadores en modo incógnito.
✅ Mejores prácticas para robots.txt en WordPress
- Mantén el archivo simple y legible.
- No uses Disallow: /wp-content/ completo, ya que puedes bloquear imágenes o CSS.
- Incluye siempre la ruta del sitemap.xml.
- No uses Noindex en este archivo (no es compatible).
- Prueba los cambios antes de aplicarlos definitivamente.
Aplicando estas prácticas mejorarás el rastreo, reducirás errores de cobertura y optimizarás la indexación de tu sitio web.
FAQs: Preguntas frecuentes sobre cómo crear robots.txt en WordPress
❓ ¿Dónde se encuentra el archivo robots.txt en WordPress?
En WordPress, el archivo robots.txt es virtual por defecto y puede verse escribiendo tusitio.com/robots.txt en el navegador. Si deseas personalizarlo, puedes crearlo manualmente en la raíz del sitio vía FTP o editarlo fácilmente desde plugins como Yoast SEO o Rank Math.
❓ ¿Cómo crear un archivo robots.txt manualmente?
Para crear un robots.txt manual, abre un editor de texto (como Bloc de notas o VSCode), escribe tus reglas y guárdalo como robots.txt. Luego súbelo a la carpeta raíz de tu hosting (normalmente /public_html/). Asegúrate de que sea accesible desde tusitio.com/robots.txt.
❓ ¿Qué debe contener un robots.txt perfecto en WordPress?
Un robots.txt ideal debe:
- Permitir el acceso a contenido útil.
- Bloquear directorios como /wp-admin/ o /wp-includes/.
- Incluir la URL del sitemap XML.
- Evitar bloquear archivos CSS o JS necesarios para la carga del sitio.
Todo esto mejora el rastreo y rendimiento SEO.
❓ ¿Puedo bloquear páginas específicas desde robots.txt?
No es lo más recomendable. El archivo robots.txt bloquea el rastreo, no la indexación. Si ya está indexada, seguirá apareciendo en Google. Para desindexar una página concreta, es mejor usar la metaetiqueta noindex en el encabezado HTML o gestionarlo desde un plugin SEO.
❓ ¿Qué pasa si no tengo archivo robots.txt en WordPress?
Si no tienes robots.txt, WordPress genera uno virtual básico. Sin embargo, no tienes control total sobre qué bloquea o permite. Crear un archivo propio te da más precisión sobre cómo los motores de búsqueda rastrean tu sitio, algo muy útil para optimizar el SEO.
❓ ¿Cómo evitar errores comunes al configurar robots.txt?
Los errores más frecuentes son:
- Bloquear recursos esenciales como /wp-content/.
- Olvidar incluir el sitemap.
- Usar Noindex, que no funciona en este archivo.
- No probar el archivo antes de aplicarlo.
Evítalos siguiendo buenas prácticas y usando herramientas como Google Search Console.
❓ ¿Qué herramientas existen para comprobar si mi robots.txt está bien?
Puedes usar:
- Google Search Console → «Probador de robots.txt».
- Herramientas SEO como Screaming Frog o Ahrefs.
- Comando curl para comprobar respuestas HTTP.
Estas herramientas te ayudan a ver qué URLs están bloqueadas o permitidas según tu configuración actual.
❓ ¿Cuánto tarda Google en actualizar los cambios del robots.txt?
Google suele rastrear el archivo robots.txt frecuentemente (cada 24 horas o menos en sitios activos), pero no es inmediato. Puedes acelerar la detección usando Google Search Console, solicitando un nuevo rastreo desde el apartado “Inspección de URL”.
❓ ¿Puedo tener varios archivos robots.txt en un mismo sitio?
No. Solo debe existir un archivo robots.txt por dominio, ubicado en la raíz. Tener más de uno puede generar conflictos y confusión para los bots. Si tienes subdominios, cada uno puede tener su propio archivo independiente.
❓ ¿El archivo robots.txt afecta al posicionamiento SEO?
Indirectamente sí. Un archivo mal configurado puede impedir que Google rastree contenido valioso, lo que perjudica tu visibilidad. Sin embargo, un archivo robots.txt bien optimizado mejora el rendimiento del sitio en buscadores, facilitando que indexen solo lo relevante.
Cursos y contenido sobre WordPress de nivel avanzado
🛒 ¿Quieres aprender más sobre SEO con IA?
En ecommaster.es ofrecemos formación actualizada sobre SEO, IA, eCommerce y estrategias digitales, ideal para profesionales que quieren estar siempre al día. Visítanos para impulsar tu visibilidad online, en nuestra plataforma de moocs de comercio electrónico y cursos de marketing digital.
En nuestro canal de youtube podrás encontrar contenido sobre IA, SEO y mucho más.
