Son archivos que sirven para dar información de tu web a los buscadores

Los buscadores como Google utilizan robots (Googlebots) que rastrean constantemente Internet para decidir qué debe incluir en sus resultados de búsqueda y qué no. Cuando llega uno de estos rastreadores a tu web, lo primero que hace es leer los archivos robots.txt y sitemap.xml para saber qué debe rastrear.

Robots.txt

Es un archivo de texto con recomendaciones a los rastreadores de lo que quieres que se muestre de tu web. De esta forma no gastan tiempo y recursos en rastrear secciones que no te interesa mostrar.

Puedes hacer que determinadas páginas o áreas de tu web no aparezcan en los resultados de búsqueda de Google, pero no desaparecen de internet. Siguen siendo accesibles de manera pública.

Robots.txt no es un archivo de seguridad, únicamente son indicaciones para los rastreadores. Con una buena configuración del archivo robots.txt se mejora la indexación del contenido más importante de tu web, por lo que mejora el SEO. También hace que los rastreadores estén menos tiempo en tu web reduciendo así la sobrecarga de tu servidor.

Este archivo debe estar alojado en la raíz de tu web.

Sitemap.xml

Es un archivo con una enumeración de las páginas de tu web para informar a los rastreadores de la estructura y contenido de tu sitio. De esta forma pueden rastrear la web de manera más inteligente.

También puedes proporcionar información valiosa de las páginas incluidas en el sitemap.xml: con qué frecuencia se cambia el contenido de la página, cuándo ha sido la última actualización o la importancia que tiene la página en tu web.

Además puedes incluir información del tipo de contenido de cada página, como imágenes o vídeo:

  • Imágenes: asunto, tipo y licencia de la imagen.
  • Video: duración, categoría y edad recomendada de visualización del video.

Si tienes una página con imágenes o vídeos relevantes, es conveniente que se añada esta información en el sitemap.xml para que los contenidos se indexen como resultados de búsqueda de imágenes o vídeos.

El sitemap.xml debe contener las urls de las páginas alojadas en su mismo directorio, por lo que normalmente se debe alojar en la raíz de tu web.

 

Tanto el robots.txt como el sitemap.xml son claves para el SEO de tu web, por lo que debes tener especial atención a la hora de configurarlos.
Si no sabes cómo, contacta con nosotros y te ayudaremos.