爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
本文由夫唯SEO特训营编辑整理。
搜外专注SEO培训和SEO周边Saas服务解决方案，10年来超过五万学员在此获得技术提升和人脉圈子。
SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。
192期A班报名时间7月1日-7月15日，请添加招生客服小沫微信：seowhy2021。
微信扫码添加客服人员
我们的目标是：让非技术人员轻松学会互联网技术。
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
SEO技术实战微信群
微信扫码添加客服人员
大站流量总监群(审核身份）
微信扫码添加客服人员
Google独立站英文SEO群
微信扫码添加客服人员
SEO团队KPI管理表格
微信扫码添加客服人员
工业品网站友情链接群
微信扫码添加客服人员
本地生活服务业友链群
微信扫码添加客服人员
