El Crawl Budget es el tiempo que dedica el robot Google en tu web para que escanear los elementos que la forman. O más bien aquellos archivos que Google quiera escanear…Porque como ya sabréis, no siempre se respetan las etiquetas “noindex” o “nofollow”, y en algunas ocasiones el robot se las come y escanea esos elementos.

Para aquellos que son un poco más novatos en el mundillo del SEO, voy a explicar brevemente la forma en que Google almacena webs. Para los más avanzados, podéis ir directamente el segundo punto del artículo.

¿Cómo almacena Google las webs de todo el mundo para mostrarlas cuando haces una búsqueda? A través de su robot. Con éste, es capaz de escanear todas las páginas web que permiten el acceso a sus URL del robot de Google. En otras palabras, que en su archivo robots.txt no tienen ninguna directriz “Disallow” para toda su web contra el robot de este buscador. El robot va analizando todos los archivos de las webs y los almacena y clasifica en un índice. Y es a este índice al que recurre cuando realizas una búsqueda determinada, para ofrecerte “lo que él considera” los mejores resultados. Y pongo eso entre comillas porque hay muchas maneras de hacerle creer a Google que tu web es la más indicada para una búsqueda, aunque no sea así.

¿Cuál es el problema de todo esto? Que si el robot escanease de arriba a abajo todas las webs del mundo el proceso sería muy lento. Entonces asigna un tiempo a cada página y el robot se ajusta a ese tiempo. Cuando se acaba, si el robot seguía en la web, se marcha a otra.

Con todo esto supongo que te darás cuenta de que hay que tratar de optimizar ese tiempo para que se indexen todos los archivos que realmente quieres. Así que hoy, te voy a enseñar a cómo hacerlo.

¿Cuánto tiempo pasa el robot de Google en tu web?

No entres en pánico. No tienes porque pensar que esto del Crawl Budget va a ser algo complicadísimo. Es más difícil acordarte del nombre que de cómo lo puedes optimizar. Lo primero de todo es que puedes saber cuánto tiempo está pasando Google en tu web. Y como no, todo a través de Search Console.

Estadisticas de rastreo en Search Console

Como ves en la imagen anterior, tienes los datos de cuántas páginas de tu web se han rastreado por día. Y justo al lado, los valores correspondientes al máximo, a la media y al mínimo. ¿Qué nos dice esto? Que si tu web tiene 50 página indexables y el robot, de media, rastrea al día 100, todo va de perlas. Pero si tienes 50 y rastrea de media 30, no consigue escanear todas las páginas que debería con el tiempo que tiene asignado para tu web.

Además, si pones el ratón en cualquier punto de la gráfica, verás cuántas páginas rastreó un día concreto. Así podrás saber si alguno de los cambios que has hecho ha tenido mayor o menor relevancia para Google.

¿Cómo puedes saber cuántas páginas de tu web pueden ser rastreadas? Mirando tu sitemap. Supongo y espero que lo tendrás bien organizado y creado claro. En mi caso, en mi sitemap tengo un total de 44 elementos enviados, y como ves, de media el robot rastrea unas 100. ES BIEN 🙂

En el caso de que, por el motivo que sea, Google tenga un Crawl Budget muy limitado para tu web y no sea capaz de analizar todas las páginas que tienes en ella, hay una solución. Optimizar. Tienes que ser capaz de optimizar tu sitio web para que, en ese poco tiempo, Google rastree los elementos que más te interesan y no se deje atrás los más importantes para ti. De esto precisamente voy a hablar en el siguiente punto.

Aprende a optimizarlo. Que no te pille el Crawl Budget

Vayamos al grano. Para hacerlo más dinámico y fácil de leer, te voy a contar directamente algunos de los muchísimos factores que puedes utilizar para optimizar tu web y que no te pille desprevenido el dichoso presupuesto de tiempo.

Páginas que no quieres que el robot rastree

No lo dudes, incluye esa URL en tu archivo robots.txt con un precioso “Disallow”. Como dije antes, muchas veces la etiqueta “noindex” no es suficiente y el robot accede a ese elemento, perdiendo así un tiempo muy valioso.

Enlaces hacia el exterior de tu web

Si en tus artículos mencionas muchas fuentes externas y no quieres quitar los enlaces  usa la etiqueta “nofollow”. Tienes que pensar que si el robot está escaneando un elemento de tu web y se encuentra un enlace externo “follow”, se irá de tu web y rastreará la que estás enlazando. Por lo que perderás la oportunidad de que siga en tus dominios. No te estoy diciendo que no pongas ni un enlace “follow”, pero sí te digo que no abuses de ellos. También piensa que es mejor si estos enlaces los añades tirando hacia el final, así el robot habrá analizado casi todo ese elemento y no se habrá ido antes de tiempo.

Autoridad

Intenta mantener y mejorar tu autoridad de página. Cuanto más alta sea, mayor será el Crawl Budget que te asigne Google. ¿Cómo puedes conseguirlo? Consiguiendo tráfico, siendo relevante para los consumidores de tu sector, optimizando el SEO de tu web…¿Es fácil? No. Sino todos estaríamos en la primera página de los buscadores.

Frecuencia de actualización

Trata de crear contenidos nuevos con regularidad. Cuando Google ve que tu web es genera contenido nuevo cada poco tiempo, puede considerarte relevante y dedicarte más tiempo. Los periódicos por ejemplo, tienen una frecuencia de actualización altísima y por ello el robot pasa grandes cantidades de tiempo en ellos, incluso pasa varias veces al día por sus webs.

Linkbuilding interno

Enlaces internos en Search Console

Tener una buena estructura de links interna es fundamental. Si quieres que el robot llegue a un documento sí o sí: enlázalo desde varias URL de tu web. Si quieres que rastree un documento, pero no es muy importante: no lo enlaces desde casi ninguna URL. Juega con esta capacidad, mide el número de links (mira la imagen de arriba. Search Console otra vez. Si quieres saber más de cómo funciona esta herramienta, no te pierdas esta guía.) que tienes hacia tus elementos y otórgales la importancia que consideres.

Duplicidad de contenido

¿De verdad quieres hacerle pasar dos veces por el mismo contenido? El tiempo es oro. Si quieres perder tu oro en contenido repetido adelante. Si quieres llegar a ser rico, crea contenido único y no le hagas analizar dos veces lo mismo a nuestro querido Google.

Responsive, velocidad de carga, CSS, Javascript, etc.

En sí, optimiza tu web y todo tu SEO onpage. Tener una web optimizada le facilitará la tarea al robot y no se perderá analizando elementos totalmente inútiles. Facilítale la vida y no le hagas perder el poco tiempo que te dedica.

Espero que todos estos consejos te hayan ayudado a entender este palabro tan raro pero taaaan importante en tu estrategia SEO. ¡Y espero que no te pille Google nunca más! Optimiza tu tiempo, y no olvides el consejo de siempre:

¡No esperes más, sal a crear mundo con tus fotografías!

Compartir es vivirTweet about this on TwitterShare on Facebook7Share on LinkedIn5Share on Google+0Email this to someone