La mayoría bloquea demasiado en robots.txt por paranoia innecesaria.
He revisado archivos robots con 40 líneas bloqueando directorios que Google debería rastrear. El resultado: páginas importantes sin indexar durante meses.
El error común:
Bloquean parámetros de URL, recursos JavaScript críticos, o secciones completas pensando que "optimizan el presupuesto de rastreo".
Google necesita ver tu JavaScript para renderizar correctamente. Bloquearlo rompe la indexación de sitios modernos basados en React o Vue.
Caso real:
Un e-commerce bloqueaba su carpeta de filtros. Pensaban que evitaban duplicados. En realidad, impedían que Google entendiera su arquitectura de categorías. Tráfico cayó 25%.
Lo que deberías bloquear:
Páginas de administración, resultados de búsqueda interna, páginas de carrito privadas. Eso es todo.
Lo que nunca bloquees:
CSS, JavaScript, imágenes críticas, cualquier URL pública con contenido valioso.
Comprueba esto hoy:
Abre Google Search Console. Revisa la sección de Cobertura. Si ves URLs excluidas por robots.txt que deberían estar indexadas, tienes un problema serio.
Menos es más con robots.txt. La mayoría necesita un archivo de cinco líneas máximo.
¿Listo para dominar el SEO técnico?
Explora nuestros webinars especializados y lleva tus habilidades al siguiente nivel con ejemplos prácticos y casos reales.
Ver webinars disponibles