久草中文在线观看_久久精品中文字幕一区_亚洲日本欧美日韩中文字幕_熟妇人妻无乱码中文字幕真矢织江

經(jīng)常會碰到站長們抱怨蜘蛛抓取返回碼老是304狀態(tài)，且抓取的次數(shù)越來越少的問題。搜索引擎為了自身的用戶體驗(yàn)，會想盡辦法來提高檢索調(diào)用率、準(zhǔn)確性、新鮮度，這將導(dǎo)致引擎不得不把主要的精力放在擁有優(yōu)質(zhì)內(nèi)容源的網(wǎng)站上。惟其如此，搜索結(jié)果的質(zhì)量才能更加符合搜索者的體驗(yàn)。

由此我們聯(lián)想到：搜索引擎爬蟲會更加青睞內(nèi)容源更新頻繁的網(wǎng)站。通過特定時間內(nèi)對網(wǎng)站抓取返回的狀態(tài)碼來調(diào)節(jié)對該網(wǎng)站的抓取頻繁。若網(wǎng)站在一定時間內(nèi)一直處于[304:沒有變化]的狀態(tài)，那么引擎爬蟲可能會降低對網(wǎng)站的抓取次數(shù)。相反，若網(wǎng)站變化的頻率非常之快，每次抓取都能獲取新版本，那么日積月累，爬蟲的回訪率也會提高。

無論是抓取少還是304，這都是一種現(xiàn)象，并不是問題的原因，假設(shè)網(wǎng)站返回的都是200，就能達(dá)到提升排名帶來流量的目的么？相比之下更應(yīng)該思考產(chǎn)生304的原因是什么？改304對網(wǎng)站目標(biāo)能夠有什么樣的效果？不能忽視整體的目標(biāo)而強(qiáng)調(diào)過程的細(xì)節(jié)，為了200而去解決304。

如何從網(wǎng)站日志中分析304狀態(tài)碼

例如某網(wǎng)站日志中有以下這樣的一段：

2015-8-2823:45:33W3SVC7499849XX61.145.116.XXGET/asyj/1112_5544.html-80-123.125.88.59Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://***.baidu.coX/search/spider.html[1])30400

其實(shí)這段文字是這樣理解的。

2015-8-2823:45:33——代表訪問的日期和時間。

W3SVC7499849XX——代表虛擬主機(jī)的名稱

61.145.116.XX——代表訪問ip

GET——代表訪問的方法

/asyj/1112_5544.html——代表具體訪問的文件

80——代表訪問的端口

123.125.88.59——代表來源ip

Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://***.baidu.coX/search/spider.html)——代表訪問來源；這里是代表百度蜘蛛。注*換為w

304——304返回碼。這個也是這里介紹的重點(diǎn)。這里表示客戶端已經(jīng)執(zhí)行了GET，但文件未變化

前一個0——代表服務(wù)端傳送到客戶端的字節(jié)大小

后一個0——代表客戶端傳送到服務(wù)端的字節(jié)大小

從這一段日志。我們可以看出這次百度蜘蛛訪問的結(jié)果的返回了一個304狀態(tài)碼。那么搜索引擎就不會對我們的頁面進(jìn)行再次抓取了

304狀態(tài)是如何產(chǎn)生？

服務(wù)器為了提高網(wǎng)站訪問速度，對之前訪問的部分頁面制定緩存機(jī)制，當(dāng)客戶端在此對這些頁面進(jìn)行請求，服務(wù)器會根據(jù)緩存內(nèi)容判斷頁面與之前是否相同，若相同便直接返回304，此時客戶端調(diào)用緩存內(nèi)容，不必進(jìn)行二次下載，可以說304從某種角度起到了減少服務(wù)器帶寬并提高蜘蛛爬行效率的作用。

304狀態(tài)產(chǎn)生原因？

1、頁面更新周期長或不更新

2、純靜態(tài)頁面或強(qiáng)制生成靜態(tài)html

304狀態(tài)處理思路？

1、先對產(chǎn)生304頁面進(jìn)行細(xì)分，到底是哪類頁面返回了304？這些頁面是否應(yīng)該返回304？

2這些頁面生成的方式是怎樣的？是否有更新機(jī)制？更新機(jī)制是否符合蜘蛛對網(wǎng)站的抓取頻率？

3、頁面更新區(qū)域的位置是否合理？是否位于該頁面主要內(nèi)容的承載區(qū)

304狀態(tài)碼出現(xiàn)過多會造成以下問題：

1、網(wǎng)站快照停止

2、收錄減少

3、權(quán)重下降

那么如何減少304返回碼呢？

據(jù)我所知，首先內(nèi)容更新方面要迎合百度蜘蛛，分析日志，把蜘蛛到訪的時間記錄下來，可以大致得出蜘蛛到訪的頻率，然后以此為依據(jù)，更新文章：一定是原創(chuàng)+轉(zhuǎn)載，不能純采集。轉(zhuǎn)載也需要最新最好的優(yōu)質(zhì)資源。讓蜘蛛這個點(diǎn)過來能有吃的。從而返回更多200正常碼。

其次呢，最好增加個互動版塊，現(xiàn)在大網(wǎng)站基本已經(jīng)都做了這方面，比如評論、留言等，大網(wǎng)站更新起來變化可能會很小，但是有了這些互動，用戶會在上面發(fā)些內(nèi)容，網(wǎng)站會有很多新的東西。