-
觸屏版
-
全國(guó)服務(wù)熱線：0571-87205688
- 云客網(wǎng)首頁(yè)
-
登錄
- |
-
注冊(cè)
- |
-
客戶中心
- |
-
關(guān)注云客
spider抓取過(guò)程中涉及的網(wǎng)絡(luò)協(xié)議
分享
評(píng)論
贊0
搜索引擎與資源提供者之間存在相互依賴的關(guān)系，其中搜索引擎需要站長(zhǎng)為其提供資源，否則搜索引擎就無(wú)法滿足用戶檢索需求;而站長(zhǎng)需要通過(guò)搜索引擎將自己的 內(nèi)容推廣出去獲取更多的受眾。spider抓取系統(tǒng)直接涉及互聯(lián)網(wǎng)資源提供者的利益，為了使搜素引擎與站長(zhǎng)能夠達(dá)到雙贏，在抓取過(guò)程中雙方必須遵守一定的 規(guī)范，以便于雙方的數(shù)據(jù)處理及對(duì)接。這種過(guò)程中遵守的規(guī)范也就是日常中我們所說(shuō)的一些網(wǎng)絡(luò)協(xié)議。以下簡(jiǎn)單列舉：
http協(xié)議：超文本傳輸協(xié)議，是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議，客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)。客戶端一般情況是指終端用戶，服務(wù)器端即指網(wǎng) 站。終端用戶通過(guò)瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送http請(qǐng)求。發(fā)送http請(qǐng)求會(huì)返回對(duì)應(yīng)的httpheader信息，可以看到包括是否成功、服務(wù) 器類型、網(wǎng)頁(yè)最近更新時(shí)間等內(nèi)容。
https協(xié)議：實(shí)際是加密版http，一種更加安全的數(shù)據(jù)傳輸協(xié)議。
UA屬性：UA即user-agent，是http協(xié)議中的一個(gè)屬性，代表了終端的身份，向服務(wù)器端表明我是誰(shuí)來(lái)干嘛，進(jìn)而服務(wù)器端可以根據(jù)不同的身份來(lái)做出不同的反饋結(jié)果。
robots協(xié)議：robots.txt是搜索引擎訪問(wèn)一個(gè)網(wǎng)站時(shí)要訪問(wèn)的第一個(gè)文件，用以來(lái)確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫。百度嚴(yán)格按照robots協(xié)議執(zhí)行，另外，同樣支持網(wǎng)頁(yè)內(nèi)容中添加的名為robots的meta標(biāo) 簽，index、follow、nofollow等指令。
猜你喜歡
-
網(wǎng)站優(yōu)化之網(wǎng)站欄目設(shè)置需注意事項(xiàng)
-
Wordpress首頁(yè)不更新怎么辦？
-
社會(huì)化媒體賺取鏈接的四種途徑
-
SEO福音！百度推移動(dòng)網(wǎng)頁(yè)加速器 旨在移動(dòng)網(wǎng)站用戶體驗(yàn)提升
-
文案寫作的思考方向
-
SEO干貨：不以營(yíng)銷為目的的SEO都是耍流氓！
-
網(wǎng)站流量來(lái)了可是沒(méi)有利潤(rùn)怎么辦
-
授權(quán)移動(dòng)適配&轉(zhuǎn)碼協(xié)議
-
網(wǎng)站換域名，哪些方面會(huì)受影響？
-
關(guān)于百度“判罰”的謠言
評(píng)論(0人參與，0條評(píng)論)
發(fā)布評(píng)論
最新評(píng)論