百度蜘蛛也就是Baiduspider，其實百度蜘蛛是一種程序，夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL，這種程序可以抓取互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁，接著抓取URL上的內(nèi)容，返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。百度的收錄也是通過百度蜘蛛這種程序去抓取完成的。

　　百度蜘蛛分為很多種，每種蜘蛛的功能都不一樣，其中Baiduspider是用來抓取網(wǎng)頁內(nèi)容的程序，抓取其他內(nèi)容的蜘蛛，則是新的名字：

　　產(chǎn)品名稱 對應(yīng)user-agent

　　網(wǎng)頁搜索 Baiduspider

　　無線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯(lián)盟 Baiduspider-cpro

　　不少朋友會在自己的網(wǎng)站日志里看到這個蜘蛛Baiduspider-cpro，現(xiàn)在我們明白它是百度聯(lián)盟蜘蛛，用以百度聯(lián)盟程序匹配相應(yīng)的廣告。

　　百度蜘蛛抓取規(guī)則

　　(1)通過百度蜘蛛下載回來的網(wǎng)頁放到補(bǔ)充數(shù)據(jù)區(qū)，通過各種程序計算過后才放到檢索區(qū)，才會形成穩(wěn)定的排名，所以說只要下載回來的東西都可以通過指令找到，補(bǔ)充數(shù)據(jù)是不穩(wěn)定的，有可能在各種計算的過程中給k掉，檢索區(qū)的數(shù)據(jù)排名是相對比較穩(wěn)定的，百度目前是緩存機(jī)制和補(bǔ)充數(shù)據(jù)相結(jié)合的，正在向補(bǔ)充數(shù)據(jù)轉(zhuǎn)變，這也是目前百度收錄困難的原因，也是很多站點(diǎn)今天給k了明天又放出來的原因。

　　(2)深度優(yōu)先和廣度優(yōu)先，百度蜘蛛抓頁面的時候從起始站點(diǎn)(即種子站點(diǎn)指的是一些門戶站點(diǎn))是廣度優(yōu)先抓取是為了抓取更多的網(wǎng)址，深度優(yōu)先抓取的目的是為了抓取高質(zhì)量的網(wǎng)頁，這個策略是由調(diào)度來計算和分配的，百度蜘蛛只負(fù)責(zé)抓取，權(quán)重優(yōu)先是指反向連接較多的頁面的優(yōu)先抓取，這也是調(diào)度的一種策略，一般情況下網(wǎng)頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當(dāng)然抓取的越多越好