首页 > 网络营销 >

浅析网站优化中搜索引擎蜘蛛的抓取方式_最新网络营销软件

作者:聚优小编 发布时间:01-07 来源:聚优营销软件 浏览次数:

文章内容如下:

对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的。从目前公布的数据来看,容量最大的搜索引擎也不过抓取了整个互联网网页数量的40%左右。其中的原因,一方面是抓取技术的瓶颈,无法遍历所有的网页,许多网页无法从其他网页的链接中找到;另一方面是存储技术和处理技术的问题。如果按照每个页面20KB计算(包含图片),100亿个网页的容量是100×2000GB。即使能够存储,下载也存在问题(按照一台机器每秒下载20KB计算,需要240台机器不停地下载一年,才能把所有网页下载完毕)。

  同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜索引擎的蜘蛛程序只抓取那些重要的网页,而在抓取时主要依据某个网页的链接深度来评价其重要性。

  在抓取阙页的时候,搜索引擎蜘蛛一般有两种策略,分别是广度优先和深度优先,如图1所示。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方法,因为这个方法可以让搜索引擎蜘蛛并行处理,以提高其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛的设计比较简单。

  由于不可能抓取所有的网页,所以有些搜索引擎蜘蛛对一些不太重要的网站设置了访问的层数。如图1所示,A为起始网页,属于第0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2,网页I将不会被访问。这也导致有些网站的一部分网页能够在搜索引擎上搜索到,而另外一部分无法搜索到。对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
 

营销软件推荐
网络营销好文推荐
标签列表