Qué es el crawl budget
Crawl budget es el número de URLs que Googlebot rastrea de tu sitio en un periodo dado. No es infinito: Google asigna recursos según el tamaño, autoridad y salud técnica de tu sitio.
Quién debe preocuparse
- Sitios con más de 10.000 URLs (ecommerce grande, medios, foros)
- Sitios con mucho contenido generado dinámicamente (filtros, búsquedas, paginación)
- Sitios con muchos errores 404/5xx que consumen budget sin valor
Para una pyme con web de 50-200 URLs estáticas, crawl budget no es un problema. Google las rastrea todas.
Factores que afectan el budget
- Velocidad del servidor: si tu servidor tarda 2 segundos en responder, Google rastrea menos URLs por sesión
- Tamaño del sitio: sitios grandes necesitan más visitas para rastrear todo
- Frescura del contenido: sitios que cambian poco se rastrean menos
- Errores acumulados: 404s, redirects, contenido duplicado desperdician budget
Cómo optimizar
- Servir rápido: TTFB bajo 600 ms
- Robots.txt bien configurado: bloquear filtros, búsquedas internas, carrito
- Sitemap actualizado: priorizar URLs importantes
- Eliminar redirects en cadena
- Arreglar 404s o redirigir
- Evitar contenido casi duplicado (canibalización)
Cómo medir
Search Console → Estadísticas de rastreo → ver URLs rastreadas/día y tiempo de descarga.