A través de las entregas de nuestro boletín, te hemos mostrado cuales son los aspectos de tu página web que Google tiene en cuenta para indexar y Rankear.

Pero hay tareas adicionales que debes ejecutar, si quieres que no solo Google, si no todos los buscadores te encuentren de forma fácil, para que les sea fácil rastrear todo tu sitio e incluir el mayor número de páginas posibles de tu sitio web.

Te estoy hablando de hacer tu sitio web mas amigable y comprensible para los robots, tan amigable como para mostrarle a los buscadores donde están tus páginas (URL), e indicarles que secciones pueden ser indexadas y cuales no.

Cuando tienes muchas páginas en tu sitio web, en ocasiones es imposible tenerlas enlazadas desde la página principal, entonces puedes tener por ejemplo que una página enlaza a 10, y esas 10 pueden enlazar otras 20.

La teoría es que los robots inician el rastreo en la página principal, y seguirán los enlaces hasta agotarlos todos, pero en la práctica no es así, el robot seguirá los enlaces hasta llegar a una página que no tenga más enlaces y se marchará, en ocasiones ni siquiera termina una secuencia.

La verdad es que en la red existen millones de páginas por revisar, y otras cientos de miles por indexar (esto permanentemente), entonces las cosas han cambiado y ahora si quieres que tu página se indexe de forma completa y rápida, tu tienes que actuar de tal forma que por decirlo de alguna manera, debes entregar las llaves de tu sitio web a los buscadores y servirles de guia para que conozcan todo tu contenido.

¿como se hace esto?

Para explicarlo mejor, supongamos que tu sitio web es una mansión, que tiene varios pasillos (URL) y varias habitaciones (carpetas), quieres que el robot recorra todos los pasillos y visite todas las habitaciones, entonces debes darle un plano o mapa y entregarle una llave maestra que abra la puerta de todas las habitaciones.

Para indicarle el plano de tu mansión, debes hacer un mapa del sitio, como una página más de tu mansión y ponerlo a la entrada de tu sitio.

El mapa del sitio, no es más que una página, que contiene las direcciones de todas las páginas que hay al interior de tu sitio web, Jerarquizando mediante sangrías.

Supongamos que tienes una pagina con tres carpetas y cada carpeta tiene 3 páginas, observa como se hace:

Index

Carpeta1

página1

página2

página3

Carpeta2

página1

página2

página3

Carpeta3

página1

página2

página3

Con las sangrías, le indicas al robot el nivel en que se encuentran los archivos y la relación que tienen entre sí las páginas, no olvides poner el link en el nombre de las páginas, si no lo haces de nada servirá tu plano.

Ahora tenemos el Plano, nos faltan las llaves.

La llave que permite a los robots entrar en tu sitio y revisarlo completo o parcialmente, es un archivo que se pone en la carpeta principal de tu sitio web y se llama "robots.txt" este archivo lo debes hacer tu mismo(a).

Las cosas han cambiado mucho, antes bastaba con hacer una página, publicarla, darla de alta en los buscadores y esperar unas semanas para que fuera indexada, ahora haces lo mismo y tienes que esperar meses para que buscadores como Google decida si te indexa o no.

Si no ponemos estas herramientas de las que te estoy hablando hoy, los robots se acercarán tímidamente a tu página y el entrar o no hacerlo dependerá de las políticas de cada buscador.

La mejor manera de garantizarte tu mismo, que los buscadores entrarán, escudriñarán tu sitio desde el primer momento, es poniendo la llave y ahora te explico como hacerlo:

el archivo "robots.txt" lo debes hacer como texto plano, es decir lo haces con word pad, o bloc de notas de windows, o cualquier herramienta que sirva para editar texto plano.

Debes identificar el nombre de los robots de los buscadores donde te diste de alta, luego de escribir las sentencias que te muestro a continuación, debes guardar el archivo con el nombre: robots, no te preocupes por la extensión que automáticamente la pondrá el editor de texto y será: .txt, ahora observa un ejemplo del archivo:

Como puedes observar, en la línea de User-agent, debes escribir el nombre del robot, en este ejemplo ves los nombres de los robots de Google, MSN, Alexa y Yahoo, si te diste de alta en otros buscadores y no sabes el nombre de sus robots, entonces observa en el panel de control de tu alojamiento en la sección de estadísticas, los robots que te han visitado.

La sentencia Disallow, se refiere a las carpetas que tu no permites que el robot revise e indexe, cuando se deja en blanco, se le dice al robot que lo revise todo, pero si tienes zonas privadas, o páginas que no quieres se hagan públicas, en esta línea debes escribir el nombre de la carpeta que no quieres se publique.

Cuando tengas el archivo listo, lo subes a la carpeta principal de tu sitio, y verás los resultados muy pronto.

Si aún no tienes tu página web, pero la vas a tener, conserva esta información por que la vas a necesitar si quieres obtener resultados de forma más rápida.

 

 

 

Deseándote lo mejor