Q1:Robots文件已经更新一个多月了,但为何所禁止的文件仍在被抓取呢?
A1:(1)开发者需要在百度搜索资源平台使用Robots工具进行更新, 并及时关注文件生效时间, 若3三天后还未生效, 建议提供具体问题截图和具体的URL在反馈中心反馈, 以便排查问题。
(2)自查Robots文件是否书写错误,Robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行进行分隔,若Robots文件书写错误了,则会导致所禁止的文件仍能被抓取。
Q2:网站误封了Robots怎么办?
A2:(1)开发者应修改Robots封禁为允许,然后到百度搜索资源平台检测并更新Robots;
(2)在百度搜索资源平台使用抓取检测工具进行检查,若显示抓取失败,可以多点击抓取几次,触发蜘蛛抓取站点;
(3)在百度搜索资源平台通过抓取频次工具,申请上调抓取频次;
(4)在百度搜索资源平台反馈中心进行反馈;
(5)通过百度搜索资源平台主动提交资源,加快百度的抓取速度。