Cómo Encontrar el Sitemap de Forma Manual
Existen gran cantidad de obstáculos que pueden impedir a esta utilidad a encontrar el sitemap de una web. Por ello, te explicaré lo que hace para que en caso de que falle, puedas encontrar por ti mismo el mapa del sitio de forma manual.
Hay dos formas principales de encontrar el sitemap de un dominio: mediante el robots.txt o probando con las direcciones más comunes.
Robots.txt
La forma más rápida de encontrar el mapa del sitio de una web es mediante el archivo robots.txt. Aunque no todos los dominios lo tienen, es una archivo común que da indicaciones a los robots de los buscadores de qué carpetas deben evitar y dónde se encuentra el sitemap.
Se halla en la raíz del dominio por lo que para acceder a él es tan fácil como escribir en la barra de direcciones del navegador el nombre del dominio más el de este archivo. Veamos un ejemplo:
https://www.ejemplo.com/robots.txt
Si existe, se abrirá un archivo en formato plano que variará de un dominio a otro. Habitualmente el robots.txt incluye una línea que empieza por “Sitemap:”. Ahí podrás encontrar la dirección del mapa del sitio.
Nombres comunes
Cuando el robots.txt no está o no podemos acceder a él nuestras posibilidades se limitan. En estos casos hay que probar con lo nombres y direcciones más comunes para ver si damos con la tecla.
Estos son los nombres y ubicaciones más frecuentes y que yo mismo he usado en esta herramienta:
- https://www.ejemplo.com/sitemap.xml
- https://www.ejemplo.com/sitemap-index.xml
- https://www.ejemplo.com/sitemap_index.xml
- https://www.ejemplo.com/sitemap/sitemap.xml
- https://www.ejemplo.com/sitemapindex.xml
- https://www.ejemplo.com/sitemap/index.xml
- https://www.ejemplo.com/sitemap1.xml
- https://www.ejemplo.com/post-sitemap.xml
- https://www.ejemplo.com/page-sitemap.xml
En otras ocasiones el mapa del sitio no tendrá un formato XML y es por eso que esta herramienta no será capaz de encontrarlo. Aquí tienes algunas opciones para encontrarlo:
- https://www.ejemplo.com/feeds/posts/default?orderby=updated
- https://www.ejemplo.com/sitemap.html
- https://www.ejemplo.com/sitemap.xml.gz
- https://www.ejemplo.com/sitemap.php
- https://www.ejemplo.com/sitemap_index.xml.gz
- https://www.ejemplo.com/sitemap.gz
- https://www.ejemplo.com/sitemap.txt
- https://www.ejemplo.com/rss/
- https://www.ejemplo.com/rss.xml
- https://www.ejemplo.com/atom.xml
Métodos alternativos
Si eso no funciona me temo que tus alternativas se van reduciendo. Sin embargo, ¡no pierdas la esperanza! Todavía nos quedan dos cosas que probar:
- Usa un footprint de Google para encontrar todos los archivos xml de un dominio para ver si encuentras entre ellos el mapa del sitio. Por ejemplo así: site:ejemplo.com filetype:xml o así: site:ejemplo.com inurl:sitemap
- Usa un detector de tecnología web para saber qué tipo de CMS usa la web para ver si el gestor de contenido, la plantilla o los plugins usados guardan el mapa del sitio con algún nombre conocido. Existe un plugin para navegador llamado Built With que permite ver qué tecnologías usa una web. Puedes ver con qué está hecha y luego buscar información de dónde guardan habitualmente el sitemap esas tecnologías.
Limitaciones: algunas cuestiones a tener en cuenta
Aunque le he dedicado mucho tiempo a que esta herramienta se salte gran cantidad de restricciones y problemas comunes, hay miles de casos específicos que seguramente no haya tenido en cuenta y que impidan que esta utilidad te proporcione el sitemap.
Es por ello que también quiero advertirte de sus limitaciones:
- No puede leer sitemap compuestos. Es bastante común que las webs más grandes tengan el mapa del sitio dividido en varios. En estos casos podrás abrir el mapa del sitio principal y copiar las direcciones de los otros sitemaps que haya dentro para analizarlos.
- de texto o html. Aunque te dará su dirección si los encuentra, en esos casos deberás acceder a ellos de forma manual.
- Existen gran cantidad de factores que pueden afectar a la legibilidad de un sitemap. Esta utilidad se centra en el formato estándar habitual aceptado por buscadores como Google. Si el mapa del sitio presenta errores de formato o escritura, es probable que su lectura sea parcial o resulte en un fallo.
- Algunas webs tiene sistemas de seguridad que impiden el acceso a sus archivos. Si es el caso, tendrás que buscar el archivo del sitemap de forma manual como hemos explicado en la sección anterior.
