且刚开始的时候一般只抓取网页的标题,这就像是将图书馆中所有书籍的名字都登记在自己的本地数据库中,别人要想查找相关内容,使用关键字在这个数据库中进行匹配,如果发现标题中含有这个关键字,那么就可以认为这本“书”就是用户所需要找的内容,便将这本“书”所在的“书架”告诉用户,让他去访问。
书即网站,书所在书架则就是网站的地址链接。
后来,搜索引擎规模化,公司化之后,财大气粗的公司拥有大量的资金,可以购置大量的服务器和硬盘,于是便开始了将网站上的所有网页都给抓取下来,也就是说,用户不但可以进行标题搜索还可以进行全文搜索。这无疑是一种进步,因为标题通常情况下所包的信息只有那么多,不可能涵盖所有内容。
但是,这是一个信息大爆炸的时代,互联网就是一个知识的海洋,网站成千上万,一个关键词搜索出来的结果往往也有成千上万,如果在这些结果中找到自己所需要的信息,又成为了一个难题。
这是所有搜索引擎都在研究的问题,归根结底,就是将网页进行排序,越好的网页应该越排前列,这样用户就不需要花费多少时间就能找到自己所需要的信息。
说起来容易做起来却是相当困难,各个搜索引擎公司都有自己的排序算法,这些都是商业机密,不对外公开。而用户都是非常现实的,如果你的产品好,的确可以带来便利,那么他就会使用,并且还会推荐别人使用。
林鸿所发现的这个bckrwp就是看到别人推荐才发现的,并且一用之下发现它的算法的确很强,通常情况下都能很快找到自己所要找的信息。
他经过研究发现,这个搜索引擎使用了一种名为pagerdnk的算法。
实际上,林鸿也不知道到底是不是叫这个名称他之所以称之为pagerdnk,是因为这个名词多次出现在源代码中。
林鸿将整个源代码通读了一遍,他发现paqrank分为十一个等级,从gk到po级,级别越高就代表着质量越好那么该网站的排名也就越高。
至于如何计算网站的pr值也非常巧妙,则是根据链接的数量而进行计算的。
简单说来就是统计所有蜘蛛所发现的那些网站上的链接,这些网站中通常都含有指向其他网站的链接,将其看成是一种投票,谁有一个链接,就得一分,谁的链接最多,谁的分数就越高再将这个分数进行转换,便有了pr值,。
这个算法的核