欧美日韩中文在线视免费观看,中文字幕色AV一区二区三区,亚洲中文字幕AV在天堂

觸屏版
全國服務(wù)熱線：0571-87205688

價(jià)格查詢批量查詢一鍵轉(zhuǎn)入

查詢

或者

立即發(fā)布需求

昵稱：月光邊境

接單：599 關(guān)注TA

達(dá)標(biāo)率 0%

博文分類

使用robots巧妙避免蜘蛛黑洞

作者：月光邊境 瀏覽：110次發(fā)布時(shí)間：2017-08-15

評論

贊0

對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多、內(nèi)容類同但url不同的動(dòng)態(tài)URL ，就像一個(gè)無限循環(huán)的“黑洞“，將spider困住。spider浪費(fèi)了大量資源抓取的卻是無效網(wǎng)頁。

　　如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會(huì)被搜索引擎大量抓取，而這其中很大一部分是檢索價(jià)值低質(zhì)的頁面。如“500-1000之間價(jià)格的租房”，首先網(wǎng)站（包括現(xiàn)實(shí)中）上基本沒有相關(guān)資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額，那么該如何避免這種情況呢？

　　我們以北京美團(tuán)網(wǎng)為例，看看美團(tuán)網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的：
　　對于普通的篩選結(jié)果頁，使用了靜態(tài)鏈接
　　同樣是條件篩選結(jié)果頁，當(dāng)用戶選擇不同排序條件后，會(huì)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。

　　對于美團(tuán)網(wǎng)來說，只讓搜索引擎抓取篩選結(jié)果頁就可以了，而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動(dòng)態(tài)頁面。美團(tuán)網(wǎng)恰是通過這種方式，對spider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為spider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。

上一篇：robots.txt寫法 下一篇：503狀態(tài)碼的使用場景及與404的區(qū)別

評論(0人參與，0條評論)

發(fā)布評論

博文分類

使用robots巧妙避免蜘蛛黑洞

猜你喜歡

評論(0人參與，0條評論)

最新評論