robots封禁后,为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取?

您好,网站在设置robots封禁,您可以使用站长平台的robots工具进行更新,更新后可以尝试使用抓取诊断工具进行检测。 百度在robots封禁后,百度可以保证不再对robots封禁的网站和目录进行抓取,但无法保证线上结果会立即消除,线上更新需要一定周期。如您站想快速删除索引,您可以将域名设置404状态,使用死链工具进行提交。如问题依旧存在,请进行人工反馈。


阅读本文的人还可以阅读:

Robots.txt 文件应放在哪里?

robots.txt

本文由夫唯团队编辑,如发现错误,欢迎通过客服微信反馈。

夫唯于2024年12月停止百度SEO研究和培训。道别信: 夫唯:再见了百度SEO!

2025年1月正式启动Google SEO培训课程,一千零一夜带领大家一起出海。

感兴趣的同学,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标:让大家独立站出海不再“望洋兴叹”。

Processed in 1.343035 Second , 523 querys.