flyzy博客
最近服务器的磁盘io一直100%，队列高达10左右，分析日志ip后发现是cf一直在爬取，可能是自动缓存。
这本来是个好功能，可现在爬取的频率太高了，硬盘先要撑不住了。
请教各位d大的，有什么设置之类的可以控制下cloudflare的抓取频率吗？
江西省网友说：不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的
贵州省网友说：之前谷歌的爬虫也很烦，只好换服务器
小尾巴翘起来
云南省网友说：点醒了我，应该去cf里面查访问
青海省网友说：很可能是伪装成CF的采集
辽宁省网友说：十有**是爬虫
广东省网友说：多半是其他爬虫，看日志，没用的垃圾爬虫就禁止了吧
