robots.txt

Qué es robots.txt

robots.txt es un archivo de texto plano en la raíz de tu dominio (tudominio.es/robots.txt) que da instrucciones a los crawlers de buscadores sobre qué páginas pueden rastrear.

Sintaxis básica

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://tudominio.es/sitemap.xml

Significado:

• User-agent: * aplica a todos los bots
• Disallow: /admin/ no rastrear esa carpeta
• Allow: / permite el resto
• Sitemap: ubicación de tu sitemap

Errores típicos catastróficos

• Disallow: / en producción: bloqueas toda la web. Suele venir de copiar config de staging.
• Bloquear rutas comerciales por descuido: Disallow: /productos/
• No referenciar sitemap: Google tiene que descubrirlo solo
• Archivo inaccesible (404): Google asume permiso pero queda raro

Diferencia con meta robots

• robots.txt: controla el rastreo (si Google entra o no a la URL)
• meta robots: controla la indexación (si aparece en resultados)

Una página puede ser rastreable pero no indexable con <meta name="robots" content="noindex">.

Cómo comprobarlo

• Ve a tudominio.es/robots.txt directamente en el navegador
• Search Console → Configuración → Probador de robots.txt
• Nuestra Auditoría SEO Técnica lo valida automáticamente