¿Ocultar trapos sucios con robots.txt?

 En SEO

¿Y si fuera posible ocultar de un plumazo todos nuestros trapos sucios redactando unas cuantas líneas en un archivo de texto?

Nos hemos preguntado esto a raíz de recordar el revuelo que surgió hace un par de años  por el archivo robot.txt de la web de la Casa Real. Este archivo es lo primero que ven los buscadores al acceder a tu web y  sirve para indicarles qué partes de tu sitio no quieres que rastreen. Y el de la Casa Real lucía (y luce) tal que así:

robots.txt casa real

 

Todo hace pensar que los Borbones están tan obsesionados con desvincularse de la figura de Urdangarín que ni a Google dejan entrar a esas páginas de su web. Y sí, es cierto que desde el destape del Caso Noos la Casa Real ha querido “marcar distancias” con el Duque de Palma. Y también es cierto que una de las medidas para evidenciar el distanciamiento fue eliminar de su web las páginas que hacían referencia a Urdangarín. Pero, pese a que la historia pierda así un poco de vidilla, no llevaron a cabo una maniobra oscura para ocultar esta información a través del robot.txt. Agregaron estas líneas al archivo cuando eliminaron todas las referencias a Urdangarín y esto es un proceso absolutamente lógico. Simplemente están indicando a los buscadores que no busquen nada en esas páginas porque ya no existen. 

Sentimos haberte fastidiado la conspiración. Tranquil@, habrá otras. 😉

Lo cierto es que nos encantan estas historias morbosas. Somos unos cotillas, qué le vamos a hacer. Pero nos salva el hecho de que todas nuestras historias tienen una moraleja importante para el marketing y la comunicación de tu marca. En este caso, la historia de Urdangarín  nos ha servido para atraerte hasta este post 😉 y para hablarte de la importancia del archivo robots.txt y la función que cumple en el posicionamiento de tu web y tu marca.

¿Para qué sirve?

Es cierto. Puedes utilizarlo para ocultar a los buscadores los trapos sucios de tu marca. Pero piénsalo bien, ¿acaso tiene algún sentido que estos trapos sucios estén publicados en tu web? Olvídalo. El archivo robots.txt servirá para decir a los buscadores que no rastreen esas páginas que, pese a ser necesarias en tu web, no aportan nada al usuario. Por ejemplo, las páginas que generan plugins que no estás utilizando, páginas con contenido duplicado, archivos de código, utilidades, etc. También puedes bloquear el acceso a algunos robots.

¿Qué beneficios aporta?

Este archivo te permite controlar el tráfico de rastreo y contribuye a que el aspecto general de tu web sea más atractivo para los buscadores. Mejora tu SEO y te permite ocultar a los buscadores aquellas páginas que no resultarán útiles a los usuarios de una forma rápida. Es fundamental si quieres que tu web esté optimizada para posicionar de forma óptima.

¿Qué limitaciones tiene?

Este archivo solo contiene indicaciones a los buscadores, no órdenes. Si bien los buscadores más importantes suelen obedecer a estas indicaciones, puede que otros robots pasen las instrucciones por alto y muestren el contenido que quieres ocultar. A esto hay que añadir que es un archivo público, para ver el de cualquier web basta con escribir /robots.txt tras la url principal. Con todo esto, respondemos a la pregunta del titular: no es una buena idea esconder tus trapos sucios con robots.txt. Si tienes contenido que no quieres que sea visible, simplemente elimínalo de tu web y, si no te es posible, puedes utilizar etiquetas de seguimiento e indexación dentro de las páginas para impedir que los buscadores accedan a ellas.

Desde luego, el de la Casa Real es uno de los archivos robot.txt más llamativos que encontramos, pero no el único ni el más curioso. Hay quien ha ido más allá y lo ha utilizado para fines no tan técnicos; desde bromas con las leyes de la robótica de Asimov hasta ofertas de trabajo.  Por si aún te has quedado con ganas de más robots.txt, en este artículo nos recopilan algunos de los archivos más curiosos.

PD: Bajo ningún concepto, entres a ver nuestro archivo robot.txt

MÁS POSTS

COMENTARIOS

¿EN QUÉ PODEMOS AYUDARTE?

Desde un logo hasta una campaña concreta. Descubre los servicios que nuestra agencia de publicidad te ofrece.

¿No es legible? Cambiar el código. captcha txt
La importancia de aparecer en Google