SEO técnico
Estos dos archivos discretos deciden por dónde entra y por dónde no pasa Googlebot en tu web. Configurarlos mal puede dejar fuera páginas clave o desperdiciar rastreo. Aquí aprendes a usarlos con criterio.
Qué son
El sitemap XML es un listado de las URLs que quieres que Google conozca. No obliga a indexar, pero facilita el descubrimiento de tus páginas importantes, sobre todo en webs grandes o con contenido nuevo que aún tiene pocos enlaces que lo señalen.
El robots.txt, en cambio, es un archivo de instrucciones que le dice a los robots por dónde no deben pasar. Se usa para evitar que rastreen zonas sin valor, como paneles internos, filtros o resultados de búsqueda que solo consumirían recursos.
Conviene no confundir sus papeles: el sitemap invita a rastrear, el robots.txt restringe el rastreo. Ninguno controla directamente la indexación, y ese matiz es el origen de muchos errores clásicos.
Sitemap
Incluye únicamente páginas que quieres posicionar: nada de redirecciones, errores ni URLs con noindex.
Debe reflejar el estado real de la web. Un sitemap con URLs muertas resta confianza y confunde a Google.
En webs extensas conviene partirlo por secciones y agruparlo en un índice de sitemaps para mantenerlo manejable.
Súbelo en Search Console para que Google lo procese y puedas ver cuántas URLs descubre e indexa.
Robots.txt
El robots.txt es poderoso y peligroso a partes iguales. Una sola línea mal puesta, como un «Disallow: /» olvidado tras una migración, puede bloquear toda la web y borrarte de Google en cuestión de días. Por eso hay que tratarlo con respeto y revisarlo siempre tras cualquier cambio.
Un error muy extendido es intentar desindexar una página bloqueándola en el robots.txt. No funciona: si la bloqueas, Google no puede leer la etiqueta noindex y a veces la mantiene en el índice sin descripción. Para desindexar, deja rastrear la página y usa el noindex; para ahorrar rastreo en zonas sin valor, usa el robots.txt.
En Centro SEO revisamos ambos archivos en toda auditoría técnica porque son de esos elementos que, cuando fallan, tiran abajo el trabajo de todo lo demás.
Buenas prácticas
Lo ideal es que ambos archivos cuenten la misma historia. No tiene sentido incluir en el sitemap una URL que bloqueas en el robots.txt: le estás mandando a Google señales contradictorias. Coherencia entre lo que invitas a rastrear y lo que restringes es la base de un rastreo eficiente.
Además, es buena práctica referenciar la ubicación del sitemap dentro del propio robots.txt, para que cualquier robot que llegue al archivo sepa dónde encontrar tu listado de URLs. Con estos dos archivos bien afinados, guías a Google hacia lo que importa y evitas que malgaste su tiempo en rincones irrelevantes de tu web.
No es obligatorio, pero es muy recomendable, sobre todo en webs grandes, nuevas o con contenido poco enlazado internamente que Google podría tardar en descubrir.
No. Bloquear una página en el robots.txt impide su rastreo, pero no garantiza que salga del índice. Para desindexar hay que usar la etiqueta noindex dejando que la rastreen.
Siempre en la raíz del dominio, accesible en tudominio.com/robots.txt. Si está en otra ubicación, los robots no lo encontrarán.
Siempre después de una migración o rediseño, y periódicamente. Un cambio accidental en cualquiera de los dos puede pasar desapercibido y hacer mucho daño.
Revisamos tu sitemap y tu robots.txt para asegurar que Google llega a lo importante y no pierde el tiempo en lo que no suma.
