【导读】无论是全球最大的搜索引擎谷歌，还是全球最大的中文搜索引擎百度，这些搜索引擎的带宽资源、硬盘资源等都是有限的。但互联网的资源却是无限膨胀的。每天新增的网页不计其数，搜索引擎没有能力抓取所有网页，它们只能优先抓取比较重要的网页，仅此而已。这便是SEO顾问潇湘驭文今天要讲的网页抓取优先策略。
在这个世界上存在着这么一种理想的主义：共产主义。在这种理想的社会中，没有等级之分，每个人都是平等的，一切均是按需分配。然而，这根本不现实。只有等级的存在，人类才有进步的空间。
互联网的世界里也一样，每个网站都存在等级。这个等级在搜索引擎的眼里被称之为权重。权重高的网站能获得更高的排名，能获得搜索引擎更多的收录；权重低的网站恰恰相反。不得已，搜索引擎创建了网页抓取优先策略——越重要的网页，越优先抓取。那么衡量衡量网页重要性的标准是什么呢？SEO顾问潇湘驭文认为主要有以下两个标准。
衡量网页重要性的两个标准
1、链接受欢迎程度。
一个网页是否受欢迎，可以从这个网页获得的外链质量和数量来判断。外链数量越多，质量越高的网页被认为是越重要的。这样的网页，搜索引擎必须优先抓取。只要网页的外链不是作弊所得，那么这些网页就意味着能满足搜索网民的搜索需求。
2、链接重要度。
链接重要度考察URL网址本身。比如普遍认为.gov的域名比.com的重要度高。另外URL里面包含的斜杠越少，通常也被认为重要度高。因为斜杠越少，表明这个URL越靠近主页，被搜索引擎发现和抓取的概率就越高。这与搜索引擎宽度优先遍历原则不谋而合，如出一辙。
以上便是SEO顾问潇湘驭文关于搜索引擎网页抓取优先策略发表的一点看法。欢迎批评指正。
本文由球事一哥潇湘驭文原创，转载需授权并保留本文链接：https://www.wangyuwen.com/archives/771.html
