------------------无法下载或者链接失效请联系页面客服--------------------------
笔者之前做了个地区门户,建站初期因为流量不大,所以用的阿里云按量付费模式,运营前几个月一直很正常。充值100多按量付费可以用好几个月突然某天接到阿里云短信提醒提示欠费,遂打开后台看了下费用明细。
后台显示ecs流量费一个小时1.5元左右,这个是之前从来没有过的。 打开了cnzz统计代码分析流量,发现一天也就 五六百ip,按理这点量不应该产生这么多流量费。
打开服务器监控日志,排查,发现百度蜘蛛访问量特别巨大,看来 流量突增的源头应该是找到了。
怎么解决蜘蛛抓取频繁的问题真的头大,期间试过n种方法,效果都不明显,期间曲折就不过多赘述。 总结下 针对百度蜘蛛频繁抓取的解决办。
第一步:进入百度站长平台https://ziyuan.baidu.com ,找到对应的网站找到抓取频次。可以看到流量增多的期间,基本上是 30万的频次, 点击
- 当前抓取频次过大如何解决?
- 找到调整频次的地方自己调整
注意:这个调整并不会马上生效,亲测这个时间大概有2天延时
第二步:修改robot.txt
屏蔽掉不想被抓取的资源,检测提交
常见问题FAQ
- UU学院资源教程能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 付款了无法下载怎么办?
- 链接地址失效怎么办?