robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

1326次阅读

robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?

User-agent: *
Disallow: /index.htm


11-30.

我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查

我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。

当然,如果只是应付备案短暂需求,,就只能这样处理。

后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。


robots设置方法视频


本文由夫唯团队编辑,如发现错误,欢迎通过客服微信反馈。

夫唯于2024年12月停止百度SEO研究和培训。道别信: 夫唯:再见了百度SEO!

2025年1月正式启动Google SEO培训课程,一千零一夜带领大家一起出海。

感兴趣的同学,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标:让大家独立站出海不再“望洋兴叹”。

Processed in 0.249580 Second , 97 querys.