Solución a sobrecarga de cpu en Servidores Dedicados
En muchas ocasiones nos encontramos ante una sobrecarga en servidores dedicados con amplios recursos con una sola web funcionando en el mismo. Investigamos los motivos y detectamos que por ejemplo el robot de msn (msn boot) nos está sobrecargando la cpu hasta niveles poco recomendables, poniendo en peligro la continuidad del servicio web..
En muchas ocasiones el problema no llega a tirarnos los servicios web de apache ni de bind gracias a que tenemos una muy buena máquina detrás dando servicio, pero en ocasiones en que la web está en un servidor compartido, puede hacernos caer el servicio web.
Se da el caso de que hasta 12 o 14 rastreadores web simultaneamente empiezan a leer a un ritmo frenético las páginas para indexarlas en sus respectivos buscadores.
La solución es muy sencilla y notaremos los resultados inmediatamente: simplemente tenemos que decirle a los boots que esperen un cierto tiempo entre búsquedas, y esto lo hacemos mediante el archivo robots.txt de nuestra web.
Normalmente tenemos este tipo de problema en webs con bases de datos muy extensas con miles de productos, como por ejemplo en webs estilo prestashop.
Para ello, necesitamos añadir la línea:
Crawl-delay: 10
Quedando por ejemplo:
User-agent: *
Crawl-delay: 10
El parámetro crawl-delay está en segundos, por lo tanto le estamos indicando al rastreador que espere 10 segundo entre cada acceso.
Tras ésta sencilla solución notaremos que el servidor nunca más vuelve a sobrecargarse por culpa del robot de msn.
Si queremos profundizar más en la generación de nuestro archivo robots.txt podemos generarlo de forma automática en el generador de robots.txt.
Una vez configurada la web mediante el robots.txt añadiendo el crawl-delay: 10 podemos estar tranquilos porque no volveremos a ver sobrecargas en nuestro servidor provocadas por el rastreo de webs proveniente de los principales buscadores. En algunos casos concretos hemos constatado que el rastreador de msn generaba problemas importantes y tras ésta simple y sencilla solución, los problemas desaparecieron por completo y para siempre.