我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: * Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: * Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
本文由夫唯SEO特训营编辑整理。
搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。
SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。
192期A班报名时间7月1日-7月15日,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员
我们的目标是:让非技术人员轻松学会互联网技术。
SEO技术实战微信群
大站流量总监群(审核身份)
Google独立站英文SEO群
SEO团队KPI管理表格
工业品网站友情链接群
本地生活服务业友链群