之前在SEO深度解析中有看到過降權(quán)蜘蛛和提權(quán)蜘蛛，即如果抓取你網(wǎng)站的蜘蛛IP是降權(quán)蜘蛛的IP，那你的網(wǎng)站就是被降權(quán)了;反之，抓取你網(wǎng)站的蜘蛛IP為提權(quán)蜘蛛的IP，那你的網(wǎng)站權(quán)重較高。

該書作者痞子瑞對此問題也表示不能肯定，然而百度LEE團隊官方曾經(jīng)在百度站長平臺公開回答過該問題，并明確的否認了。當(dāng)然，百度還不承認有百度權(quán)重，然而確實有，呵呵。

官方的答復(fù)不可不信，也不可全信。今天又看《走進搜索引擎》，發(fā)現(xiàn)可能真的有所謂的提權(quán)蜘蛛和降權(quán)蜘蛛。

搜索引擎工作過程中，在抓取環(huán)節(jié)，有一個重要性網(wǎng)頁優(yōu)先抓取的策略，其實很好理解，搜索引擎需要抓取的新網(wǎng)頁和每天重訪的網(wǎng)頁規(guī)模都是巨大的，為保證更重要的網(wǎng)頁能夠優(yōu)先抓取，使得在時效性和權(quán)威性上獲得滿意的效果，就需要對重要性網(wǎng)頁進行優(yōu)先抓取。(這不就是百度權(quán)重高的網(wǎng)站嗎?)

同時，在抓取環(huán)節(jié)，還有一個抓取提速策略，通過增加同時工作的爬蟲(即蜘蛛)數(shù)量。在多個蜘蛛抓取的情況下，需要按照域名來分解任務(wù)，使特定的爬蟲抓取特定的域名下的網(wǎng)頁。

在域名分配的同時，要保證每個蜘蛛的工作量相等;如默認正常網(wǎng)站的規(guī)模為普通水準，抓取工作量一般;而重要性高的網(wǎng)站，通常其網(wǎng)站規(guī)模龐大，內(nèi)容豐富，抓取工作量較大;但是網(wǎng)站被降權(quán)的網(wǎng)站通常使用大量垃圾內(nèi)容作弊來獲取排名，其網(wǎng)站規(guī)模肯定也較大，抓取工作量也較大。

假設(shè)：1*重要性網(wǎng)站=2*普通網(wǎng)站=1*作弊網(wǎng)站，那么蜘蛛抓取工作量體系結(jié)構(gòu)類似于：

spider1抓取重要性高的域名A

spider2抓取普通網(wǎng)站B和C

spider3抓取作弊網(wǎng)站的域名D

則spider1為提權(quán)蜘蛛，spider3為降權(quán)蜘蛛。

因為蜘蛛不光要抓取，還要返回抓取的網(wǎng)頁結(jié)果和新的URL，而URL的重要度會影響URL的抓取優(yōu)先度，所以高權(quán)重網(wǎng)站上的URL是不能和普通網(wǎng)站、作弊網(wǎng)站上的URL放在一起的，因此為提高蜘蛛的工作效率，同一個蜘蛛肯定不會同時抓取不同重要度的網(wǎng)站。

至于考核蜘蛛(即沙盒蜘蛛)、劣質(zhì)文章蜘蛛等什么亂七八糟的蜘蛛，應(yīng)該是不存在的。

谷歌的沙盒期是會對新網(wǎng)站正常抓取，只是不會放出或者不會給予好的排名罷了，不關(guān)人家蜘蛛的事情。

至于劣質(zhì)文章蜘蛛，蜘蛛是按照域名來劃分工作，那可能就是降權(quán)了，要不就是想多了。

對了，如果百度真的存在提權(quán)蜘蛛和降權(quán)蜘蛛的話，谷歌應(yīng)該也有，畢竟搜索引擎工作原理是一樣的。