有一些網站設計做的對于搜索引擎來說很不友好，就導致了不利于蜘蛛的爬行和抓取，其實這樣就構成了一個蜘蛛陷阱。官方說法，“蜘蛛陷阱”是阻止蜘蛛程序爬行網站的障礙物，通常是那些顯示網頁的技術方法，目前很多瀏覽器在設計的時候考慮過這些因素，所以可能網頁界面看起來非常正常，但這些蜘蛛陷阱會對蜘蛛程序造成障礙，如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網頁。SEO工作中，網頁被收錄是基礎工作，但對于搜索引擎來講，極少情況會100%收錄你網站的所有網頁，搜索引擎的爬蟲程序設計的再精巧，也難以逾越所謂的蜘蛛陷阱。

　　搜索引擎蜘蛛陷阱有著怎樣的危害呢?

　　搜索引擎蜘蛛陷阱導致了不利于蜘蛛的爬行和抓取，從而導致網站收錄情況不佳，最終影響網站關鍵詞排名。

　　搜索引擎蜘蛛陷阱的主要類別

　　1、登錄要求

　　有些企業站和個人站的設置一定要注冊登錄后才能看到相關的文章內容，這種對蜘蛛不是很友好，蜘蛛不會注冊、也不會登錄。

　　2、動態URL

　　什么叫動態URL、什么叫靜態URL，簡單的說就是帶有問號、等號及參數的網址就是動態URL，動態URL不利于搜索引擎蜘蛛的爬行和抓取。

　　3、強制用Cookies

　　部分站長為了讓用戶記住登陸信息，強迫用戶使用Cookies如果未開啟，則無法進行訪問，訪問頁面顯示的也不會正常，這種方式會讓蜘蛛無法進行訪問。

　　4、框架結構

　　首先各位站長你知道什么叫框架結構的世界嗎?如果你不知道恭喜你，這個蜘蛛陷阱你已經躲避了，也不要去了解，所以有關框架結構的設計不做任何的介紹。雖然說框架結構對網站的維護和更新有一定的方便性。但是，它不利于搜索引擎蜘蛛抓取。這也就是現在框架結構不流行的因素之一。

　　5、各種跳轉

　　對搜素引擎來說只對301跳轉相對來說比較友好，對其他形式的跳轉都是比較敏感，例如：JavaScrit跳轉、MetaRefresh跳轉、Flash跳轉、302跳轉。

　　有些網站的做法很讓人無奈，當你打開網頁后會自動轉向其他頁面，就算打開的頁面和你要找的頁面主體先關也算過得去。但是很大部分的網站轉向讓你無任何理由和目的這種轉向不推薦大家使用，如果你非要做轉向，只推薦用301永久跳轉，可以將權重進行傳遞，除了此轉向其他都不推薦，因為很多的占用其他轉向欺騙用戶和搜索引擎，也是heimao的一種手段，所以建議大家不要使用，以免網站被K。

　　6、Flash

　　有的網站頁面使用Flash視覺效果是很正常的，比如用Flash做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒有問題的，很多網站的首頁是一個大的Flash文件，這種就叫蜘蛛陷阱，在蜘蛛抓取時HTML代碼中只是一個鏈接，并沒有文字，雖然大的Flash效果看上去很好，外觀看著也很漂亮，但可惜搜素引擎看不到，無法讀取任何內容所以為了能體現網站優化的最好效果，不提倡這種Flash做首頁圖片。

　　7、Javascript鏈接

　　因為JS有很多吸引人們眼球的驚人的各種效果，很多站長呢，就用Javascript腳本做一些導航。其實，Javascript同樣也是比較嚴重的蜘蛛陷阱之一。

　　當然，有的搜索引擎是可以獲得Javascript上的鏈接，甚至可以執行腳本并跟蹤鏈接。但對于一些權重比較低的網站來說，還是大可不必浪費時間，不如多更新一些高質量的文章，多做幾個外鏈。

　　8、Session ID

　　如果我們的網站使用Session ID跟蹤用戶訪問，這樣就會出現一種現象，搜索引擎每一次訪問我們的頁面時出現一個不一樣的Session ID，即使訪問的是同一個頁面，它也會出現不一樣的ID，但是內容卻是一樣的，就形成了大量的重復性內容，這也就形成了一個蜘蛛陷阱，也不利于網站的優化。那么我們通常建議大家使用cookies而不要生成Session ID。

　　如何避免搜索引擎蜘蛛陷阱?

　　1、采用session id的頁面，有的銷售類站點為了分析用戶的某些信息會采用會話ID來跟蹤用戶，訪問站點的時候每個用戶訪問都會增加一次session id而加入到URL中，同樣蜘蛛的每一次訪問也會被當做為一個新用戶,每次蜘蛛來訪問的URL中都會加入一個session id，這樣就會產生了同一個頁面但URL不同的情況，這種的一來會產生復制內容頁面，造成了高度重復的內容頁，同時也是最常見的蜘蛛陷阱之一。比如說有的網站的為了提高銷售業績，而進行彈窗會話等，比如說您好來自XXX地的朋友等。

　　2、常識性的蜘蛛陷阱，采用強制注冊或登錄才能訪問的頁面，這種的對于蜘蛛來說就相當為難了，因為蜘蛛無法提交注冊，更無法輸入用戶名和密碼登錄查看內容，對于蜘蛛來說我們直接點擊查看到的內容也是蜘蛛所能看到的內容。

　　3、喜歡采用flash的站點，之所以說是喜歡采用flash的站點是因為對于一些中小型企業來說，因為flash本身可以做很多種效果，尤其是放在導航上視覺效果強，所以不少企業站喜歡弄個flash來展示自己公司的實力，文化，產品等，甚至一些企業站點的網站首頁就是一個flash，要么是在多長時間后通過flash跳轉到另外一個頁面，要么就是通過flash上的鏈接讓用戶自己點擊后進入一個新的頁面，但是對于蜘蛛來說一來是很難讀取flash中的內容，所以蜘蛛也很難點擊flash上的鏈接。

　　4、動態URL，在url中加入過多的符號或者網址參數等，這種蜘蛛陷阱我在url優化中曾經有提到，雖然說隨著搜索引擎的的技術發展，動態url對于蜘蛛的抓取已經越來越不是問題了，但是從搜索引擎友好度上來講，靜態哪怕是偽靜態url相對來說都比動態url要好，可以看下很多SEO同行對于url中的處理方式。

　　5、框架，在早期框架到處被泛濫使用，而現在框架網頁很多網站已經很少使用了，一是因為現在隨著各大CMS系統的開發問世，網站維護相對也越來越簡單了，早期網站使用框架是因為對網站頁面的維護有一定的便利性了，現在已經大可不必了，而且不利于搜索引擎收錄也是框架越來越少被使用的原因之一。