百度的算法一直改變，這讓很多站長在做SEO優化的時候有點猶豫，都想弄明白一件事，如何才能把握好網頁更新策略?，快速的提高網站的知名度，現在我就談談SEO的基礎工作-網站頁面收錄問題,這就需要站長做好robots.txt。

這里就整理一些常見的爬蟲程序，不常見的我也不是很了解，畢竟世界上的爬蟲程序非常非常多，有好有壞。

Google爬蟲

算法優秀，反應速度迅速，對內容質量把握優秀，中等強度爬蟲程序，對服務器負擔不大，推廣效果好。

對應user-agent：爬蟲名稱

Googlebot：google網頁爬蟲

Googlebot-news：google新聞爬蟲

Googlebot-image：google圖片爬蟲

Googlebot-video：google視頻爬蟲

Googlebot-mobile：google移動爬蟲

Mediapartners-google或Mediapartners(googlebot)：google廣告爬蟲

Adsbot-google：google著陸頁質量檢測爬蟲

百度爬蟲

算法良好，反應速度遲鈍，對內容質量把握一般，高強度爬蟲程序，由于算法優化不良問題，對服務器負擔較大，本身小問題也挺多（比如：度娘又抽風了），隱私保護惡劣，在百度面前無隱私可言，推廣效果好。（然而誰叫這貨是國內搜索引擎老大呢）

對應user-agent：爬蟲名稱

Baiduspider：百度網頁爬蟲兼移動爬蟲

Baiduspider-image：百度圖片爬蟲

Baiduspider-video：百度視頻爬蟲

Baiduspider-news：百度新聞爬蟲

Baiduspider-favo：百度搜藏爬蟲

Baiduspider-cpro：百度聯盟爬蟲

Baiduspider-ads：百度商務爬蟲

好搜（即360）爬蟲

類似百度早期算法，反應速度遲鈍，對內容質量把握不足，高強度爬蟲程序，隱私保護跟百度一個尿性，需要翻墻的小伙伴千萬要避開這貨。

推廣效果好，目前好搜的客服給我的印象最好，然而以后就不知道了，畢竟有流氓歷史。

對應user-agent：爬蟲名稱

360spider或haosouspider：好搜網頁爬蟲兼移動爬蟲

360spider-image：好搜圖片爬蟲

360spider-video：好搜視頻爬蟲

搜狗爬蟲

算法惡劣，反應速度極其遲鈍，不能良好的把握內容質量，高強度爬蟲程序，由于算法奇差，會對頁面進行大量反復而又無實際意義的掃描，對服務器負擔很大，個人建議直接遮蔽這貨，推廣效果差！嚴重的內部點擊，個人最討厭。搜狗本身流量就很少，并且收錄慢，抓取壓力大，綜合性價比非常低。

對應user-agent：爬蟲名稱

Sogou spider：搜狗綜合爬蟲

新浪愛問爬蟲

基本可以當作搜狗爬蟲，各項性能惡劣，建議遮蔽，推廣效果差。

對應user-agent：爬蟲名稱

Iaskspider：新浪愛問爬蟲

有道爬蟲

也基本可以當作搜狗爬蟲，各項性能惡劣，對服務器負擔較搜狗略低，建議遮蔽，推廣效果差。

對應user-agent：爬蟲名稱

YodaoBot：網易有道爬蟲

Alexa爬蟲

Alexa爬蟲，用于檢測網站是否做了Alexa排名作弊，如果不關心Alexa排名的可以遮蔽。一般企業站看這個沒意思很難有排名的。

對應user-agent：爬蟲名稱

ia_archiver：Alexa爬蟲

雅虎爬蟲

算法優良，反應速度還可以，高強度爬蟲程序，有時候會從多個ip地址啟動捉取，算是比較規范的爬蟲，推廣效果還可以。不過自從雅虎離開大陸，而且在11年11月左右雅虎關閉了站長服務并把數據轉移到必應，一般情況建議遮蔽。

對應user-agent：爬蟲名稱

Yahoo! Slurp：雅虎爬蟲

必應爬蟲

整體性能還不能判斷，不過根據最近世界搜索引擎市場份額占比判斷，性能應該接近百度甚至比百度要好，國內本土化不足。九秋網站來自必應的流量不少于好搜。

對應user-agent：爬蟲名稱

Bingbot：必應爬蟲

總結：

好了，大概我們常見的爬蟲程序就有這些，別的基本可以直接遮蔽了。