之前在《SEO深度解析》中有看到過(guò)降權(quán)蜘蛛和提權(quán)蜘蛛，即如果抓取你網(wǎng)站的蜘蛛IP是降權(quán)蜘蛛的IP，那你的網(wǎng)站就是被降權(quán)了;反之，抓取你網(wǎng)站的蜘蛛IP為提權(quán)蜘蛛的IP，那你的網(wǎng)站權(quán)重較高。

該書(shū)作者痞子瑞對(duì)此問(wèn)題也表示不能肯定，然而百度LEE團(tuán)隊(duì)官方曾經(jīng)在百度站長(zhǎng)平臺(tái)公開(kāi)回答過(guò)該問(wèn)題，并明確的否認(rèn)了。當(dāng)然，百度還不承認(rèn)有百度權(quán)重，然而確實(shí)有，呵呵。

官方的答復(fù)不可不信，也不可全信。今天又看《走進(jìn)搜索引擎》，發(fā)現(xiàn)可能真的有所謂的提權(quán)蜘蛛和降權(quán)蜘蛛。

搜索引擎工作過(guò)程中，在抓取環(huán)節(jié)，有一個(gè)重要性網(wǎng)頁(yè)優(yōu)先抓取的策略，其實(shí)很好理解，搜索引擎需要抓取的新網(wǎng)頁(yè)和每天重訪的網(wǎng)頁(yè)規(guī)模都是巨大的，為保證更重要的網(wǎng)頁(yè)能夠優(yōu)先抓取，使得在時(shí)效性和權(quán)威性上獲得滿意的效果，就需要對(duì)重要性網(wǎng)頁(yè)進(jìn)行優(yōu)先抓取。(這不就是百度權(quán)重高的網(wǎng)站嗎?)

同時(shí)，在抓取環(huán)節(jié)，還有一個(gè)抓取提速策略，通過(guò)增加同時(shí)工作的爬蟲(chóng)(即蜘蛛)數(shù)量。在多個(gè)蜘蛛抓取的情況下，需要按照域名來(lái)分解任務(wù)，使特定的爬蟲(chóng)抓取特定的域名下的網(wǎng)頁(yè)。

在域名分配的同時(shí)，要保證每個(gè)蜘蛛的工作量相等;如默認(rèn)正常網(wǎng)站的規(guī)模為普通水準(zhǔn)，抓取工作量一般;而重要性高的網(wǎng)站，通常其網(wǎng)站規(guī)模龐大，內(nèi)容豐富，抓取工作量較大;但是網(wǎng)站被降權(quán)的網(wǎng)站通常使用大量垃圾內(nèi)容作弊來(lái)獲取排名，其網(wǎng)站規(guī)?？隙ㄒ草^大，抓取工作量也較大。

假設(shè)：1*重要性網(wǎng)站=2*普通網(wǎng)站=1*作弊網(wǎng)站，那么蜘蛛抓取工作量體系結(jié)構(gòu)類(lèi)似于：

spider1抓取重要性高的域名A

spider2抓取普通網(wǎng)站B和C

spider3抓取作弊網(wǎng)站的域名D

則spider1為提權(quán)蜘蛛，spider3為降權(quán)蜘蛛。

因?yàn)橹┲氩还庖ト?，還要返回抓取的網(wǎng)頁(yè)結(jié)果和新的URL，而URL的重要度會(huì)影響URL的抓取優(yōu)先度，所以高權(quán)重網(wǎng)站上的URL是不能和普通網(wǎng)站、作弊網(wǎng)站上的URL放在一起的，因此為提高蜘蛛的工作效率，同一個(gè)蜘蛛肯定不會(huì)同時(shí)抓取不同重要度的網(wǎng)站。

至于考核蜘蛛(即沙盒蜘蛛)、劣質(zhì)文章蜘蛛等什么亂七八糟的蜘蛛，應(yīng)該是不存在的。

谷歌的沙盒期是會(huì)對(duì)新網(wǎng)站正常抓取，只是不會(huì)放出或者不會(huì)給予好的排名罷了，不關(guān)人家蜘蛛的事情。

至于劣質(zhì)文章蜘蛛，蜘蛛是按照域名來(lái)劃分工作，那可能就是降權(quán)了，要不就是想多了。

對(duì)了，如果百度真的存在提權(quán)蜘蛛和降權(quán)蜘蛛的話，谷歌應(yīng)該也有，畢竟搜索引擎工作原理是一樣的。