首页 / 网站优化 / 网站误封了Robots怎么办?为何所禁止的文件仍在被抓取?

网站误封了Robots怎么办?为何所禁止的文件仍在被抓取?

Q1:Robots文件已经更新一个多月了,但为何所禁止的文件仍在被抓取呢?

A1:(1)开发者需要在百度搜索资源平台使用Robots工具进行更新, 并及时关注文件生效时间, 若3三天后还未生效, 建议提供具体问题截图和具体的URL在反馈中心反馈, 以便排查问题。

(2)自查Robots文件是否书写错误,Robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行进行分隔,若Robots文件书写错误了,则会导致所禁止的文件仍能被抓取。

Q2:网站误封了Robots怎么办?

A2:(1)开发者应修改Robots封禁为允许,然后到百度搜索资源平台检测并更新Robots;
(2)在百度搜索资源平台使用抓取检测工具进行检查,若显示抓取失败,可以多点击抓取几次,触发蜘蛛抓取站点;
(3)在百度搜索资源平台通过抓取频次工具,申请上调抓取频次;
(4)在百度搜索资源平台反馈中心进行反馈;

(5)通过百度搜索资源平台主动提交资源,加快百度的抓取速度。

本文来自网络,本站仅提供信息存储空间服务。文中观点不代表网推实训营立场,转载请注明出处:https://www.shixunying.com/29591.html
上一篇
下一篇

为您推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部