Robots.txt

El robots.txt es un archivo de texto en la raíz del dominio que indica a los robots de los buscadores qué carpetas o URLs pueden rastrear y cuáles no.

Un ejemplo

Durante el rediseño de un sitio se agrega «Disallow: /» para que Google no vea la versión de pruebas. Al lanzar, nadie lo quita y el tráfico orgánico empieza a caer en los días siguientes. Es uno de los errores más comunes después de una migración.

Cómo lo trabajamos

Revisamos el robots.txt en cada auditoría y antes de cualquier lanzamiento. Lo usamos para evitar que el robot pierda tiempo en búsquedas internas, carritos o parámetros, nunca para esconder páginas del índice: una URL bloqueada en robots.txt puede seguir indexada si otros sitios la enlazan. Para sacar una página del índice se usa la etiqueta noindex, y para eso el robot tiene que poder leerla. También comprobamos que el archivo declare la ubicación del sitemap XML.