搜索引擎爬【pá】虫【chóng】的工作流程，是【shì】SEO的基【jī】础篇章，也【yě】是每一位从【cóng】事SEO工作的同仁【rén】都应该掌握的必备知识【shí】。赵彦刚通【tōng】过整理，绘制了一张【zhāng】图，以便于你不懂技【jì】术也能看懂【dǒng】搜索引擎爬虫的工作流程，下面【miàn】我们一起【qǐ】说一【yī】下【xià】。

话不多说，先上图：

如上图，请大家在阅读下文的时候，对照图中的标号和我一起思考。

1、种子URL

1、所谓种子URL所指的就是最开始【shǐ】选定的URL地【dì】址，大多【duō】数情况下【xià】，网站【zhàn】的首页、频道【dào】页等丰【fēng】富性【xìng】内容更多的页面会被作为种【zhǒng】子URL；

然后将这些种子URL放入到待抓取的URL列表中；

2、待抓取URL列表

爬虫【chóng】从【cóng】待抓取的【de】URL列【liè】表中逐个进行读取，读取URL的过程中，会将【jiāng】URL通【tōng】过【guò】DNS解析【xī】，把这个URL地址转换成网【wǎng】站服务器【qì】的IP地址+相【xiàng】对路径的方【fāng】式；

3、网页下载器

接【jiē】下来把这个地址交给网页下载【zǎi】器（所谓网页【yè】下载器，顾名思义就【jiù】是负责【zé】下载网【wǎng】页内容的一个模块）；

4、源代码

对于下载到本地的网【wǎng】页【yè】，也就是【shì】我【wǒ】们网页的源代码，一方【fāng】面要将这个网页存储到网页库中，另一方面会从【cóng】下载网【wǎng】页中再次提取URL地【dì】址。

5、抽取URL

新提取出来的URL地址会先【xiān】在已抓【zhuā】取【qǔ】的URL列表中进行【háng】比【bǐ】对，检查一下这个网【wǎng】页是不是被抓取了【le】。

6、新URL存入待抓取队列

如果网页没有被抓取，就【jiù】将新【xīn】的URL地址放入【rù】到待抓取的URL列表【biǎo】的末【mò】尾，等待被抓取。

就【jiù】这样循环的工作着，直到待【dài】抓取队列为空的【de】时【shí】候，爬虫【chóng】就算【suàn】完成【chéng】了抓取的全过程。

然后以下【xià】载【zǎi】的网页，就都会进入到【dào】一【yī】定的【de】分【fèn】析【xī】中，分【fèn】析后进行索引，我们就能看到收录结果了。

对于真正的【de】爬虫来说，先抓哪些页面【miàn】、后抓【zhuā】哪些页【yè】面【miàn】，以及不抓哪【nǎ】些页面等等都是有一定【dìng】的【de】策略【luè】的，这里【lǐ】讲述【shù】的是【shì】一个比较通【tōng】过、普遍【biàn】的爬虫抓取流程，身为SEO的我们，知道这些足以