Presupuesto de rastreo y valor de carga del host

Bastante se ha hablado sobre Crawl budget, o presupuesto de rastreo, se trata de un término usado por Google para dosificar el rastreo de un sitio web sin sobrecargar al servidor.

El blog para webmasters Google ha publicado una nota bastante completa e informativa, donde indica algunos puntos a tener en cuenta en un sitio web.

Pero vamos ver el problema del lado del servidor que aloja ese sitio rastreado.

Presupuesto de rastreo Google-PablakComo sabrás, no solo los robots de Google acceden a tu sitio, Bing, Yahoo y hasta Facebook lo visitan, todos utilizan métodos similares para moderar el rastreo.

La diferencia está en que Google explica más claramente el proceso y tiene herramientas para controlarlo, ya que es el que mayor volumen de exploración genera.

Observa las Estadísticas de rastreo en Search console

Supongamos que tu web tiene 1.000 páginas; si la cifra en el valor medio supera holgadamente ese número no deberías tener mayores problemas

Pero si por alguna razón, ya sea popularidad o incremento en el contenido, pasas a tener 10.000 páginas y el valor medio de rastreo no ha cambiado, estas en problemas

En mis años de experiencia sólo un par de veces me ha tocado lidiar con las consecuencias de un Crawl budget limitado, cuando el servidor no puede contener las exigencias de rastreo de un sitio web saturado de páginas.

Valor de carga del servidor (Web Server Host Loads)

Los servidores utilizados para alojamiento web, se configuran con un valor de carga determinado por la cantidad de conexiones de entrada simultáneas por minuto, con un margen de seguridad que no comprometa la operatividad

El número predeterminado de conexiones recomendado por Google,es de 4.

El rastreo comienza abriendo 4 conexiones, a continuación, intentará incrementar ese número, si determina que el servidor web o de archivo, tienen la capacidad suficiente para una carga superior.

Durante el rastreo, el robot analiza dinámicamente las respuestas del servidor y archivos. Si no hay capacidad suficiente para la carga del host con que fue configurado el servidor, el robot reduce la frecuencia de rastreo hasta que se consigue un tiempo de respuesta aceptable. En esas condiciones, el número de conexiones podría caer por debajo de la cantidad especificada, dependiendo de la actividad del sistema.

Cuando esto ocurre, el funcionamiento del servidor está asegurado, pero el rastreo del sitio web no será suficiente

¿Cuál es el valor de carga del host ideal?

No hay un valor ideal porque no existe el servidor ideal, se entiende que cuanto más potente sea el servidor (memoria, velocidad del procesador, etc.), aceptará un valor de carga  más alto.

Se debe analizar detenidamente el desempeño de un sitio web, para elegir el plan adecuado a sus necesidades, si se prevé mucho tráfico y una cantidad elevada de páginas visitadas, tal vez un servidor dedicado o un VPS sean lo indicado, pero muchas veces tampoco es suficiente, y contratar un cloud server puede resultar la solución indicada para el proyecto.

Ver también: Servidores VPS Argentina ; Servidores dedicados Buenos Aires ; tienes un servidor seguro, pero ¿tu propio sitio lo es ?

Carlos Pablak

Carlos Pablak

Consultor SEO, webmaster y asesor de Marketing online.
Experto en comportamiento de los buscadores y tendencias de búsqueda. Social Media Manager y SEM Manager.
Colaborador principal en el Foro de ayuda para webmasters de Google.
Moderador en la Comunidad SEO & Marketing.
Moderador en la Comunidad oficial de Google para webmasters
Carlos Pablak

Deja un comentario