百度spider不支持robots.txt文件里Crawl-delay规则,怎么办？

百度对网站访问频率不支持Crawl-delay配置，如果您希望配置网站针对百度spider的访问频率，建议您使用百度站长平台的抓取压力反馈工具，先查询网站在百度近一个月的天级抓取量趋势图，可调节百度spider每天访问您网站的抓取压力上限，供百度参考，避免百度spider对站点抓取压力过大，造成网站服务器负载及抓取异常。

百度站长平台抓取压力反馈工具已上线，新上线的工具面向全部网站开放。网站管理员可登录百度站长平台：http://zhanzhang.baidu.com/直接使用，查询网站在百度近一个月的天级抓取量趋势图，并可调节百度spider每天访问您网站的压力上限，避免百度spider对站点抓取压力过大，造成网站服务器负载及抓取异常。

 

什么是站点抓取压力？

站点抓取压力即搜索引擎在单位时间内对一个网站服务器访问的频率和总次数。

 

什么是抓取压力反馈工具：

1.   此工具主要是为了让站长在网站抓取压力出现问题时，可以向百度及时反馈网站抓取压力问题，同时还提供给站长近一个月的站点抓取量趋势图，站长可以了解站点抓取压力是否存在异常并符合预期。

2.   为保证您网站的正常抓取，百度会将您的调整压力和网站实际情况综合考虑，因此并不能保证完全按照您的反馈进行调整。这个反馈是个参考值，我们会根据实际情况综合调整，避免因压力调整造成不必要的抓取异常

 

怎样使用抓取压力反馈工具：

第一步，注册并登录百度站长平台（http://zhanzhang.baidu.com/）
第二步，提交网站并验证归属，具体验证网站归属方法可见帮助文档
http://www.baidu.com/search/sitemap_help.html

第三步，选择左侧“站点管理”

 

第四步，在已认证归属的站点列表中选择需要查询的站点。

 

第五步，选择左侧“抓取压力反馈”，得到的页面如下

 

5.1抓取压力调整，可对压力值进行调整，如下图所示：

 

5.2推荐选择让百度自动调整网站压力，如限制百度对网站的最大天级抓取量，可拖动滑块，将压力值调整到您期望的比例，压力值是指一天内Baiduspider抓取的最多网页数量。

5.3当您对站点压力进行反馈后，可以在调整记录中，看到您的记录，您所做的调整，百度都会记录，但百度只对您的最新调整进行生效。

温馨提示：

1：推荐使用百度默认抓取压力值，我们建议您仅在网站抓取压力出现问题时，才向百度反

馈压力设置，如网站抓取压力正常，网站管理员却频繁调节抓取压力，容易造成网站及其服务器的抓取异常

2：压力值反馈，会在一周内生效，请耐心等待，不要频繁重复提交申请。

3：压力反馈中的当前数值，是网站当前在百度的有效抓取压力值。