我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: * Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: * Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
本文由夫唯团队编辑,如发现错误,欢迎通过客服微信反馈。
夫唯于2024年12月停止百度SEO研究和培训。道别信: 夫唯:再见了百度SEO!
2025年1月正式启动Google SEO培训课程,一千零一夜带领大家一起出海。
感兴趣的同学,请添加招生客服小沫微信:seowhy2021。
微信扫码添加客服人员
我们的目标:让大家独立站出海不再“望洋兴叹”。