蜘蛛程序陷阱(spider trap)
作者：Promise.（承諾）
瀏覽：474次
發(fā)布時(shí)間：2018-04-11
編輯
分享
評(píng)論
贊0
蜘蛛陷阱指的是由于網(wǎng)站內(nèi)容結(jié)構(gòu)的某種特征，使搜索引擎陷入無(wú)限循環(huán)，無(wú)法停止爬行，最典型的蜘蛛陷阱是某些頁(yè)面上的萬(wàn)年歷，搜索引擎可以一直單擊下一個(gè)月陷入無(wú)限循環(huán)。
蜘蛛程序陷阱是阻止蜘蛛程序爬些網(wǎng)頁(yè)顯示的技術(shù)方法，這些手段能很好地配合瀏覽器，但對(duì)蜘蛛程序就構(gòu)成了阻礙，蜘蛛陷阱包括Javascript下拉菜單以及有些種類(lèi)的重定向。
猜你喜歡