Alexa数据显示，我的网站速度要比75%的网站慢！我记得就在是天前，数据还是我的网站比51%的网站慢。
我购买的主机相对稳定，我想，一定是哪里出了问题。
当然，只有网络爬虫才会导致这样的情况。比如我这篇文章更新了，大约1个小时候Google的爬虫就会将其采集，每天凌晨2-3点的时候百度爬虫也会过来采集。然后，第二天白天，全国成千上万个垃圾站的站长，开始使用各种各样的采集工具对互联网上的原创功能进行采集。
这一些的一切，都会白白耗费我本来就不怎么高效的主机资源，于是，导致我的网站时不时地奇慢无比。
有什么办法解决么？我们换一种方式来说，如果有一天，你发现你家楼道里被贴满了野广告，那么，你有什么办法解决？你不知道贴广告的人是谁，也不知道他们什么时候贴的。能怎么办？报警？还是蹲守，然后把贴广告的人揍一顿？有可能你蹲点遇到一个，但是他第一次来贴广告……
所以，没办法。我估计像网易雅虎这样的大站超过50%的资源都是被这些网络爬虫给占用了。人类最喜欢的事情就是制造垃圾，这些垃圾，给人们增加了无穷的麻烦和经济压力。但是，没办法，就像我们体内也聚集着大量垃圾一样，生命几乎和垃圾密不可分。垃圾信息和网络爬虫也是互联网的一部分。很多时候，正因为有这些爬虫，我们才能更快速地获得信息。
评论