久草中文在线观看_久久精品中文字幕一区_亚洲日本欧美日韩中文字幕_熟妇人妻无乱码中文字幕真矢织江

常用抓取返回碼示意

  簡單介紹幾種百度支持的返回碼:

  1)最常見的404代表"NOT FOUND",認(rèn)為網(wǎng)頁已經(jīng)失效,通常將在庫中刪除,同時(shí)短期內(nèi)如果spider再次發(fā)現(xiàn)這條url也不會(huì)抓取;

  2)503代表"Service Unavailable",認(rèn)為網(wǎng)頁臨時(shí)不可訪問,通常網(wǎng)站臨時(shí)關(guān)閉,帶寬有限等會(huì)產(chǎn)生這種情況.對于網(wǎng)頁返回503狀態(tài)碼,百度spider不會(huì)把這條url直接刪除,同時(shí)短期內(nèi)將會(huì)反復(fù)訪問幾次,如果網(wǎng)頁已恢復(fù),則正常抓取;如果繼續(xù)返回503,那么這條url仍會(huì)被認(rèn)為是失效鏈接,從庫中刪除.

  3)403代表"Forbidden",認(rèn)為網(wǎng)頁目前禁止訪問.如果是新url,spider暫時(shí)不抓取,短期內(nèi)同樣會(huì)反復(fù)訪問幾次;如果是已收錄url,不會(huì)直接刪除,短期內(nèi)同樣反復(fù)訪問幾次.如果網(wǎng)頁正常訪問,則正常抓取;如果仍然禁止訪問,那么這條url也會(huì)被認(rèn)為是失效鏈接,從庫中刪除.

  4)301代表是"Moved Permanently",認(rèn)為網(wǎng)頁重定向至新url.當(dāng)遇到站點(diǎn)遷移、域名更換、站點(diǎn)改版的情況時(shí),我們推薦使用301返回碼,同時(shí)使用站長平臺網(wǎng)站改版工具,以減少改版對網(wǎng)站流量造成的損失.

  3、多種url重定向的識別

  互聯(lián)網(wǎng)中一部分網(wǎng)頁因?yàn)楦鞣N各樣的原因存在url重定向狀態(tài),為了對這部分資源正常抓取,就要求spider對url重定向進(jìn)行識別判斷,同時(shí)防止作弊行為.重定向可分為三類:http 30x重定向、meta refresh重定向和js重定向.另外,百度也支持Canonical標(biāo)簽,在效果上可以認(rèn)為也是一種間接的重定向.

  4、抓取優(yōu)先級調(diào)配

  由于互聯(lián)網(wǎng)資源規(guī)模的巨大以及迅速的變化,對于搜索引擎來說全部抓取到并合理的更新保持一致性幾乎是不可能的事情,因此這就要求抓取系統(tǒng)設(shè)計(jì)一套合理的抓取優(yōu)先級調(diào)配策略.主要包括:深度優(yōu)先遍歷策略、寬度優(yōu)先遍歷策略、pr優(yōu)先策略、反鏈策略、社會(huì)化分享指導(dǎo)策略等等.每個(gè)策略各有優(yōu)劣,在實(shí)際情況中往往是多種策略結(jié)合使用以達(dá)到最優(yōu)的抓取效果.

  5、重復(fù)url的過濾

  spider在抓取過程中需要判斷一個(gè)頁面是否已經(jīng)抓取過了,如果還沒有抓取再進(jìn)行抓取網(wǎng)頁的行為并放在已抓取網(wǎng)址集合中.判斷是否已經(jīng)抓取其中涉及到最核心的是快速查找并對比,同時(shí)涉及到url歸一化識別,例如一個(gè)url中包含大量無效參數(shù)而實(shí)際是同一個(gè)頁面,這將視為同一個(gè)url來對待.

  6、暗網(wǎng)數(shù)據(jù)的獲取

  互聯(lián)網(wǎng)中存在著大量的搜索引擎暫時(shí)無法抓取到的數(shù)據(jù),被稱為暗網(wǎng)數(shù)據(jù).一方面,很多網(wǎng)站的大量數(shù)據(jù)是存在于網(wǎng)絡(luò)數(shù)據(jù)庫中,spider難以采用抓取網(wǎng)頁的方式獲得完整內(nèi)容;另一方面,由于網(wǎng)絡(luò)環(huán)境、網(wǎng)站本身不符合規(guī)范、孤島等等問題,也會(huì)造成搜索引擎無法抓取.目前來說,對于暗網(wǎng)數(shù)據(jù)的獲取主要思路仍然是通過開放平臺采用數(shù)據(jù)提交的方式來解決,例如"百度站長平臺""百度開放平臺"等等.