Robots.txt文件用法举例说明

Robots.txt文件正常放于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

 "<field>:<optional space><value><optionalspace>"

 

Robots.txt文件用法举例说明如下:

robots.jpg

robots1.jpg

阅读本文的人还可以阅读:

什么是百度抓取异常?抓取异常对网站的影响有哪些

robots.txt

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?


本文由夫唯团队编辑,如发现错误,欢迎通过客服微信反馈。

夫唯于2024年12月停止百度SEO研究和培训。道别信: 夫唯:再见了百度SEO!

2025年1月正式启动Google SEO培训课程,一千零一夜带领大家一起出海。

感兴趣的同学,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标:让大家独立站出海不再“望洋兴叹”。

Processed in 0.963121 Second , 411 querys.