Bastante se ha hablado sobre Crawl budget, o presupuesto de rastreo, se trata de un término usado por Google para dosificar el rastreo de un sitio web sin sobrecargar al servidor.
El blog para webmasters Google ha publicado una nota bastante completa e informativa, donde indica algunos puntos a tener en cuenta en un sitio web.
Pero vamos ver el problema del lado del servidor que aloja ese sitio rastreado.
Como sabrás, no solo los robots de Google acceden a tu sitio, Bing, Yahoo y hasta Facebook lo visitan, todos utilizan métodos similares para moderar el rastreo.
La diferencia está en que Google explica más claramente el proceso y tiene herramientas para controlarlo, ya que es el que mayor volumen de exploración genera.
Observa las Estadísticas de rastreo en Search console
Supongamos que tu web tiene 1.000 páginas; si la cifra en el valor medio supera holgadamente ese número no deberías tener mayores problemas
Pero si por alguna razón, ya sea popularidad o incremento en el contenido, pasas a tener 10.000 páginas y el valor medio de rastreo no ha cambiado, estas en problemas
En mis años de experiencia sólo un par de veces me ha tocado lidiar con las consecuencias de un Crawl budget limitado, cuando el servidor no puede contener las exigencias de rastreo de un sitio web saturado de páginas.
Valor de carga del servidor (Web Server Host Loads)
Los servidores utilizados para alojamiento web, se configuran con un valor de carga determinado por la cantidad de conexiones de entrada simultáneas por minuto, con un margen de seguridad que no comprometa la operatividad
El número predeterminado de conexiones recomendado por Google,es de 4.
El rastreo comienza abriendo 4 conexiones, a continuación, intentará incrementar ese número, si determina que el servidor web o de archivo, tienen la capacidad suficiente para una carga superior.
Durante el rastreo, el robot analiza dinámicamente las respuestas del servidor y archivos. Si no hay capacidad suficiente para la carga del host con que fue configurado el servidor, el robot reduce la frecuencia de rastreo hasta que se consigue un tiempo de respuesta aceptable. En esas condiciones, el número de conexiones podría caer por debajo de la cantidad especificada, dependiendo de la actividad del sistema.
Cuando esto ocurre, el funcionamiento del servidor está asegurado, pero el rastreo del sitio web no será suficiente
¿Cuál es el valor de carga del host ideal?
No hay un valor ideal porque no existe el servidor ideal, se entiende que cuanto más potente sea el servidor (memoria, velocidad del procesador, etc.), aceptará un valor de carga más alto.
Se debe analizar detenidamente el desempeño de un sitio web, para elegir el plan adecuado a sus necesidades, si se prevé mucho tráfico y una cantidad elevada de páginas visitadas, tal vez un servidor dedicado o un VPS sean lo indicado, pero muchas veces tampoco es suficiente, y contratar un cloud server puede resultar la solución indicada para el proyecto.
Ver también: Servidores VPS Argentina ; Servidores dedicados Buenos Aires ; tienes un servidor seguro, pero ¿tu propio sitio lo es ?
More from Hosting
3 ventajas de usar MariaDB sobre MySQL
3 ventajas de usar MariaDB sobre MySQL. En el mundo del software de gestión de bases de datos, MySQL sigue …
Planificación de la capacidad del centro de datos bien hecha
Planificación de la capacidad del centro de datos bien hecha.La vida útil de una instalación típica de centro de datos …
Cómo maximizar el tiempo de actividad (uptime) con 5 estrategias proactivas
Cómo maximizar el tiempo de actividad (uptime) con 5 estrategias proactivas.El tiempo de inactividad del servidor tiene la capacidad de …
