¿Qué son los archivos robots.txt y sitemap.xml?

Si has llegado hasta aquí seguramente sea por que estás preguntándote que son los archivos robots.txt y sitemap.xml y sobretodo, para que sirven. Esto es muy frecuente en personas que están empezando en el SEO y no conocen estos conceptos. En este artículo hablaremos sobre estos archivos, su utilidad y también de su importancia de cara a un buen posicionamiento.

Sitemap y robots dan información de tu web a los buscadores

Pues si, esto es en esencia la funcionalidad de ambos archivos. Los motores de búsqueda, como pueden ser Google, Yaho o Bing, utilizan robots que rastrean de forma continua Internet para elaborar sus índices de búsqueda. Es decir, para decidir que páginas posicionarán en los rankings de sus resultados de búsqueda.

Cuando uno de estos robots llega a tu web, antes de nada lo que hará será interpretar los archivos robots.txt y sitemap.xml para saber qué es lo que debe rastrear.

De todos modos, debes saber que tanto el archivo sitemap.xml como el robots.txt son solo indicaciones para los robots de búsqueda. Esto no significa que sigan sus indicaciones al pie de la letra. Aunque con ambos bien configurados favorecerás la optimización SEO On Page de tu web de forma notable.

Sitemap XML, qué es y para qué sirve

El sitemap es un archivo en formato XML con una lista de las páginas de tu sitio que informa a los robots de los buscadores de su estructura web y otra información adicional. Por tanto, es un archivo muy importante para el SEO de una página web. Todo lo que sea ponérselo fácil a Google y otros buscadores, influirá de forma positiva en el posicionamiento de tu web.

¿Cómo crear el sitemap de tu web?

Existen diferente formas de crear un sitemap. Puedes hacerlo «a mano» creando el archivo en un editor, pero por suerte actualmente hay varios generadores de archivos sitemap.xml con los que ahorrarse ese trabajo. Estos son los que te recomendamos:

• XML-Sitemaps: se trata de una herramienta online. Sólo tendrás que introducir tu dominio y de forma automática rastreará todas las páginas de tu web. Puedes crear sitemap.xml de hasta 500 páginas. Si tu web es más grande y tiene una gran cantidad de páginas, puedes adquirir la versión de pago que además tiene funcionalidades adicionales.
• Google XML Sitemaps: este es un plugin ideal si tu web es un WordPress. Es gratis y actualiza el mapa del sitio cada vez que se publicas una nueva página o post. Además, tiene muchas opciones de configuración y características adicionales. Es una auténtica maravilla, pero consume una gran cantidad de recursos. Si tu web es grande, deberás valorar como afecta al rendimiento de tu página.
• Yoast SEO: este completo plugin SEO de WordPress te permitirá también crear un archivo sitemap de tu web. Configurar el sitemap en Yoast SEO es muy sencillo e intuitivo gracias a su panel y su funcionamiento resulta muy efectivo. Es uno de los más usados por la mayoría de sitios WordPress.

Enviar tu sitemap XML al buscador

Una vez que tienes un archivo sitemap.xml lo que debes hacer es subirlo a la raíz de tu página web en el servidor.

Esto suele hacerse con un cliente FTP o desde el panel de control del servidor. Cuando lo hayas subido, puedes verificar que se ha subido de forma correcta tecleando la URL del sitemap en el navegador.

Esta, aunque depende del generador de sitemaps que hayas utilizado, suele ser algo del estilo tuweb.com/sitemap.xml o tuweb.com/sitemap_index.xml.

Por ejemplo, el sitemap de la imagen superior ha sido creado con el plugin Yoast SEO, pero existen otras herramientas o plugins con los que generar el mapa del sitio de tu web.

Una vez que tengas el archivo en tu servidor, es recomendable notificárselo a los buscadores para que sepan de su existencia. Esto puede hacerse de forma sencilla desde Google Search Console donde podrás subir tu archivo XML o también añadiendo al robots.txt una línea donde se indique la ruta del sitemap.xml de tu web.

Robots.txt, qué es y para qué sirve

Es un archivo de texto alojado en tu servidor que indica a los buscadores que partes de tu web debe rastrear y cuales no. Los bots de los buscadores tienen un tiempo limitado para rastrear una web. Por eso lo primero que hacen cuando llegan a un sitio es ver el archivo robots.txt para saber en que deben emplear su tiempo de rastreo.

Con este archivo puedes hacer que determinadas páginas de tu web no sean accesibles en los resultados de búsqueda. Esto suele hacerse para no indexar páginas de una web como ¿Quiénes somos?, Nuestro equipo, etc. Así podrás indexar solo el contenido de tu página que te interese para tu posicionamiento web.

¿Cómo crear el robots.txt de tu web?

Crear un archivo robots.txt es muy sencillo, incuso aunque nunca hayas creado uno.

Simplemente debes crear un documento de texto con el bloc de notas y nombrarlo como “robots.txt”. En su interior debes especificar las partes de tu web que no deseas que rastreen los buscadores a través de comandos.

Una vez que lo hayas creado, como en el caso del sitemap, deberás subirlo a la raíz de tu web en tu hosting. Puedes utilizar un cliente FTP o hacerlo desde el panel de control de tu alojamiento.

Comprobar y notificar a los buscadores el archivo robots.txt

Podrás comprobar si se ha subido de forma correcta al teclear la URL en el navegador tuweb.com/robots.txt.

También puedes acceder a Google Search Console y probar el archivo robots a través de la ruta Rastreo>Probador de robots.txt.

De la misma manera también es buena idea usar la herramienta Rastreo>Explorar como Google para comprobar que todo funciona de forma correcta.

Conclusiones sobre sitemap.xml y robots.txt

Tanto el archivo sitemap.xml como el archivo robots.txt son elementos importantes para optimizar el SEO de tu web. Podrás leer que no son obligatorios. Y es cierto que una web puede estar posicionada sin tener estos archivos bien configurados. Pero no cabe duda que como hemos hablado, en el SEO es muy importante ponérselo lo más fácil posible a los buscadores. Por eso estos archivos son clave para mejorar la indexación de una página web y así tener más posibilidades de posicionar el contenido.

Y tú, ¿ya sabes como generar estos archivos para tu web? ¿Aún tienes dudas? Deja tus preguntas o dudas en los comentarios que las responderemos encantados. Y si te ha gustado, comparte en las redes sociales 😉