通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
扩展阅读：
本文由夫唯团队编辑，如发现错误，欢迎通过客服微信反馈。
夫唯于2024年12月停止百度SEO研究和培训。道别信： 夫唯：再见了百度SEO！
2025年1月正式启动Google SEO培训课程，一千零一夜带领大家一起出海。
感兴趣的同学，请添加招生客服小沫微信：seowhy2021。
微信扫码添加客服人员
我们的目标：让大家独立站出海不再“望洋兴叹”。
