冲浪网站优化 / Products Center

网站优化

百度spider不支持Crawl-delay设置的通知

发布时间: 2012-09-21 08:26:00

尊敬的各位用户，亲爱的站长们，大家好：

近期，我们收到一些对Crawl-delay用法的询问，现明确百度对网站访问频率不再参考该设置，即不支持Crawl-delay配置，如果您希望配置网站针对百度spider的访问频率，建议您使用百度站长平台的抓取压力反馈工具，先查询网站在百度近一个月的天级抓取量趋势图，可调节百度spider每天访问您网站的抓取压力上限，供百度参考，避免百度spider对站点抓取压力过大，造成网站服务器负载及抓取异常。

具体工具使用帮助见http://bbs.zhanzhang.baidu.com/thread-44-1-1.html

上一条：百度搜索结果可以判断网页状态

下一条：百度收录量应该通过站长平台查询