Skip to main content

¿Por qué son importantes los robots.txt?

¿Por qué los robots.txt son importantes? Muy sencillo, son los encargados de darle las indicaciones las principales arañas o crawlers de que es lo que pueden o no pueden indexar en sus resultados.

Así es, si deseamos que alguna página de nuestro contenido o imagen no sea mostrada en los principales buscadores como Google. Aquí es donde podemos decirle. Debemos tener mucho cuidado con las indicaciones que le damos a un robot.

Mi recomendación es:

Si no tenemos conocimientos previos de cómo manejar un robots.txt es mejor no meternos con ellos. Debido a que si realizamos algún error, todo nuestro contenido puede ser excluido de los principales buscadores, y así, dejar de tener visitas.”

Algunos de los principales robots en el mundo son:

  • Googlebot. Es el más importante a tener en cuenta por los webmasters ya que es el principal buscador a nivel mundial.
    • Mediapartners-Google. Es el responsable de revisar y mostrar los anuncios de Adsense en nuestro sitio web.
    • Googlebot-Image. Es el robot encargado de indexar las imágenes de nuestros sitios web para que sean publicadas en los SERPS de imágenes de Google.
    • Scooter. Es el robot de Altavista.
    • Slurp. Es el robot responsable de indexar el contenido de nuestro sitio web para el buscador Yahoo.
    • Msnboot. Es el robot encargado de indexar nuestro contenido a los SERPS de Bing.
Ejemplo de Robots.txt
Ejemplo Robots.txt

Si deseas aprender más sobre como modificar un archivo robots.txt te recomiendo visitar el sitio robotstxt.org.

En artículos posteriores estaremos hablando de cómo poder modificarlos para nuestros sitios web además de algunos consejos que te puedan servir.

Daniel

Mi nombre es Daniel y soy apasionado de Internet desde hace algunos años. Me gusta todo lo relacionado con el Mundo del Hosting, y es por eso que cree el blog Todo sobre Hosting.

Los comentarios están cerrados.