很多網站因為自己的誤操作，給網站做了門檻。本來是想設成允許蜘蛛來的，卻弄巧成拙設成阻止了，所以我們要來揭秘網站沒有被收錄的基礎原因有哪些：

一、在robots.txt文件設置了屏蔽

如果在分析網站日志時發現蜘蛛每天都會在網站抓取，但是網站依然是收錄不充分，我們都知道蜘蛛來網站抓取時，首先會檢索網站是否存在robots文件，這時我們很有必要檢測網站的robots文件，來查看網站是不是已經存在不需要抓取的頁面了，看看文件中是否含有阻止網站中某部分內容，導致網站不能被充分的收錄。對于新手站長不知道寫的robots文件是否符合自己想要的結果，可以利用百度站長工具robots功能，檢測robots文件寫法是否正確。

二、robots meta標簽設置禁止

網站頁面上使用了 noindex標簽是告訴蜘蛛不允許索引這個頁面，我們更新的內容即使質量再高也不會被蜘蛛抓取。同時，nofollow標簽告訴蜘蛛此頁面上的鏈接不傳遞權重，如果網站上的頁面鏈接都帶有nofollow，那這就明顯的告訴搜索引擎此頁面沒有任何價值。當然蜘蛛是不會來了。如果你的網站遇到不能被充分收錄，檢查下meta標簽，是否存在錯誤的標簽。

三、頁面深度比較深，頁面沒有被訪問過

對于一些大型的內容型網站，頁面深度比較深的情況，我們可以完善網站的內鏈建設，把一些相關的頁面通過內鏈的形式加在頁面上,不要讓網站的頁面變成獨立的頁面，建立好導航和內鏈，或者給想要收錄的頁面增加外鏈，引導蜘蛛來抓取。提高頁面在搜索引擎中的權重值。盡量不要使用nofollow標簽、JS代碼或者某些蜘蛛不能識別的轉向等代碼。

四、網站中大量的使用黑帽SEO優化頁面被蜘蛛當做是作弊的內容

1、網站上如果長期使用隱藏文字在頁面上進行關鍵詞堆積，蜘蛛檢索到網站上存在隱藏文字和鏈接，這時你的網站很有可能會被蜘蛛從索引中刪除，不會再次出現在搜索頁面中。

2、使用和背景一樣顏色的文字，堆積大量的關鍵詞，這種作弊也很容易被檢測出來。

3、使用noscript標簽，告訴瀏覽器當頁面上有JS時，當瀏覽器關閉時，頁面上該顯示什樣的內容，事實上是在noscript標簽中堆積很多關鍵詞，這種做法是相關有危險的，很容易就會導致內容被刪除。

五、低質量內容被歸為垃圾站點

不管是自身網站的重復內容，還是網站從外部獲得的重復內容，蜘蛛都能一定程度的對其識別，對于重復的內容頁面，蜘蛛不會繼續放入自己的數據庫，甚至會對一些低權重的網站，進行刪除索引的操作。

在互聯網垃圾泡沫的時代，要想真正的做到收錄充分,擠在行業的前列，還是要堅持去做高質量的內容，這樣才能長久在業界生存，網站權重才會越來越高。