蜘蛛程序陷阱
作者：匆匆那年
瀏覽：1062次
發布時間：2018-04-02
編輯
分享
評論
贊0
蜘蛛陷阱指的是由于網站結構的某種特征，使搜索引擎陷入無限循環，無法停止爬行，最典型的蜘蛛陷阱是某些頁面上的萬年歷，搜索引擎可以一直單擊下一個月陷入無限循環。
蜘蛛程序陷阱是阻止蜘蛛程序爬些網頁顯示的技術方法，這些手段能很好地配合瀏覽器，但對蜘蛛程序就構成了阻礙，蜘蛛陷阱包括Javascript下拉菜單以及有些種類的重定向。
猜你喜歡