Presupuesto de rastreo

Es una restricción real solo en sitios grandes, y se lo invoca mucho más seguido de lo que aplica. Un sitio de unos cientos de páginas no se queda sin presupuesto.

Donde sí duele es en sitios que generan URLs: navegación por facetas, páginas de resultados de búsqueda, parámetros de sesión, paginación infinita. El rastreador gasta su cuota ahí y nunca llega a las páginas que importan.

Es uno de los argumentos para mantener un conjunto de URLs generadas chico y deliberado, en vez de publicar todas las combinaciones que una plantilla pueda producir.