Presupuesto de rastreo

El presupuesto de rastreo (crawl budget) es la cantidad de URLs que un buscador quiere y puede rastrear en tu sitio en un período determinado. Depende de qué tan rápido responde tu servidor y de cuánto cree Google que vale la pena volver a visitar tus páginas. Google lo describe como la suma de dos cosas: la capacidad de rastreo, lo que tu servidor aguanta, y la demanda de rastreo, cuánto le interesa tu contenido.

Es una restricción real solo en sitios grandes, y se lo invoca mucho más seguido de lo que aplica. Un sitio de unos cientos de páginas no se queda sin presupuesto. Aun así, en qué gasta el tiempo el rastreador en un sitio chico influye en qué tan rápido detecta las páginas nuevas o actualizadas.

Donde sí duele es en sitios que generan URLs: navegación por facetas, páginas de resultados de búsqueda, parámetros de sesión, paginación infinita y URLs viejas que siguen dando error. El rastreador gasta su cuota ahí y nunca llega a las páginas que importan. Es uno de los argumentos para mantener un conjunto de URLs generadas chico y deliberado, en vez de publicar todas las combinaciones que una plantilla pueda producir.

Estos términos se usan como si fueran lo mismo y significan cosas distintas. La documentación de Google describe el presupuesto de rastreo como el resultado de la capacidad de rastreo y la demanda de rastreo. «Presupuesto de indexación» es una expresión de la industria para una idea relacionada: Google no indexa todas las páginas que rastrea.

La consecuencia práctica: rastrear e indexar son pasos separados. El estado «Rastreada: actualmente sin indexar» en Search Console suele apuntar a calidad o duplicación, y más rastreo no lo va a cambiar.

• En Google Search Console, abrí Configuración y después Estadísticas de rastreo. Anotá el total de solicitudes por día, el tiempo medio de respuesta y el estado del host.
• Mirá el desglose por respuesta. Una proporción alta de 404, redirecciones o errores de servidor significa que el rastreo se gasta en URLs que no devuelven nada útil.
• Mirá el desglose por objetivo, descubrimiento de URLs nuevas o actualización de las conocidas. Si las páginas nuevas tardan semanas en descubrirse, revisá los enlaces internos y el sitemap.
• Rastreá el sitio con Screaming Frog y compará la cantidad de URLs encontradas con la que esperás. Una diferencia grande suele significar que parámetros, filtros o paginación están generando URLs.
• Si tenés acceso a los logs del servidor, analizá las solicitudes de Googlebot para ver qué secciones visita más. Screaming Frog Log File Analyser sirve para eso.
• Limpiá: redirigí o eliminá URLs muertas, evitá enlaces internos a variantes con parámetros, dejá en los sitemaps solo URLs canónicas e indexables y mejorá los tiempos de respuesta del servidor, con PageSpeed Insights para la velocidad de cada página.
• Volvé a mirar las Estadísticas de rastreo después de unas semanas para confirmar que subió la proporción de solicitudes útiles.

• Estadísticas de rastreo en Search Console: solicitudes por día, tiempos de respuesta y proporción de 404 y redirecciones.
• URLs viejas que siguen dando error y si merecen una redirección.
• Parámetros, filtros y buscadores internos que generan URLs casi infinitas.
• Páginas flojas o de plantilla que conviene mejorar, unificar o pasar a noindex.
• Sitemaps XML que listan solo URLs canónicas e indexables.

Los buscadores ya no son los únicos bots que visitan tu sitio. Las compañías de IA tienen sus propios rastreadores, como GPTBot y OAI-SearchBot de OpenAI o PerplexityBot de Perplexity, y todos consumen recursos del servidor. En un sitio chico casi nunca importa. En un sitio grande o lento, mucho tráfico de bots puede hacer más lentas las respuestas, y Google baja su frecuencia de rastreo cuando el servidor se pone lento. Decidí en robots.txt qué rastreadores de IA permitís, sabiendo que bloquear uno de búsqueda como OAI-SearchBot o PerplexityBot puede dejar tus páginas afuera de las respuestas con búsqueda de ese asistente.

Las AI Overviews dependen del índice de Google, así que todo lo que demora el descubrimiento de páginas nuevas también demora su chance de aparecer en una respuesta de IA. En SEO local el riesgo aparece cuando las páginas de ubicación se generan en masa: cientos de páginas de ciudades casi idénticas compiten por la atención del rastreador con las que sí sirven.

1. Negocio chico.Rara vez es un límite real. Concentrate en corregir los 404 y en que cada página nueva tenga enlaces internos y esté en el sitemap.
2. E-commerce.Es el caso clásico. Los filtros, el orden, las variantes y la búsqueda interna pueden multiplicar las URLs muchas veces, y las canónicas, el manejo de parámetros y las reglas de robots.txt deciden adónde va el rastreo.
3. Sitio multilingüe como el nuestro.Cada idioma suma un conjunto completo de URLs, y cada par de hreflang se tiene que rastrear de los dos lados. Mantener las dos versiones sin enlaces muertos importa más a medida que el sitio crece.
4. Negocio de servicios local.Las páginas de ubicación deberían existir solo para zonas que realmente atendés y sobre las que tenés algo útil para decir. Con ese mismo criterio pasamos a noindex nuestras páginas de plantilla con poco contenido.

Una forma rápida de saber en qué grupo estás: compará la cantidad de páginas que esperás con la cantidad de URLs que encuentra un rastreo de Screaming Frog. Si el rastreo encuentra muchas veces más, el sitio está generando URLs y el presupuesto de rastreo merece atención.

• Preocuparse por el presupuesto de rastreo en un sitio chico e ignorar problemas básicos de indexación.
• Bloquear en robots.txt páginas que además necesitan noindex, lo que impide que Google vea la directiva.
• Dejar años de URLs viejas devolviendo 404 después de un rediseño.
• Publicar todas las páginas que una plantilla puede generar solo porque se puede.

La eficiencia de rastreo es parte del lado técnico del SEO tradicional, y pesa más cuando tu sitio crece con plantillas, como las páginas de ubicación del SEO local.