很多網(wǎng)站因為自己的誤操作，給網(wǎng)站做了門檻。本來是想設(shè)成允許蜘蛛來的，卻弄巧成拙設(shè)成阻止了，所以我們要來揭秘網(wǎng)站沒有被收錄的基礎(chǔ)原因有哪些：

一、在robots.txt文件設(shè)置了屏蔽

如果在分析網(wǎng)站日志時發(fā)現(xiàn)蜘蛛每天都會在網(wǎng)站抓取，但是網(wǎng)站依然是收錄不充分，我們都知道蜘蛛來網(wǎng)站抓取時，首先會檢索網(wǎng)站是否存在robots文件，這時我們很有必要檢測網(wǎng)站的robots文件，來查看網(wǎng)站是不是已經(jīng)存在不需要抓取的頁面了，看看文件中是否含有阻止網(wǎng)站中某部分內(nèi)容，導(dǎo)致網(wǎng)站不能被充分的收錄。對于新手站長不知道寫的robots文件是否符合自己想要的結(jié)果，可以利用百度站長工具robots功能，檢測robots文件寫法是否正確。

二、robots meta標(biāo)簽設(shè)置禁止

網(wǎng)站頁面上使用了 noindex標(biāo)簽是告訴蜘蛛不允許索引這個頁面，我們更新的內(nèi)容即使質(zhì)量再高也不會被蜘蛛抓取。同時，nofollow標(biāo)簽告訴蜘蛛此頁面上的鏈接不傳遞權(quán)重，如果網(wǎng)站上的頁面鏈接都帶有nofollow，那這就明顯的告訴搜索引擎此頁面沒有任何價值。當(dāng)然蜘蛛是不會來了。如果你的網(wǎng)站遇到不能被充分收錄，檢查下meta標(biāo)簽，是否存在錯誤的標(biāo)簽。

三、頁面深度比較深，頁面沒有被訪問過

對于一些大型的內(nèi)容型網(wǎng)站，頁面深度比較深的情況，我們可以完善網(wǎng)站的內(nèi)鏈建設(shè)，把一些相關(guān)的頁面通過內(nèi)鏈的形式加在頁面上,不要讓網(wǎng)站的頁面變成獨立的頁面，建立好導(dǎo)航和內(nèi)鏈，或者給想要收錄的頁面增加外鏈，引導(dǎo)蜘蛛來抓取。提高頁面在搜索引擎中的權(quán)重值。盡量不要使用nofollow標(biāo)簽、JS代碼或者某些蜘蛛不能識別的轉(zhuǎn)向等代碼。

四、網(wǎng)站中大量的使用黑帽SEO優(yōu)化頁面被蜘蛛當(dāng)做是作弊的內(nèi)容

1、網(wǎng)站上如果長期使用隱藏文字在頁面上進(jìn)行關(guān)鍵詞堆積，蜘蛛檢索到網(wǎng)站上存在隱藏文字和鏈接，這時你的網(wǎng)站很有可能會被蜘蛛從索引中刪除，不會再次出現(xiàn)在搜索頁面中。

2、使用和背景一樣顏色的文字，堆積大量的關(guān)鍵詞，這種作弊也很容易被檢測出來。

3、使用noscript標(biāo)簽，告訴瀏覽器當(dāng)頁面上有JS時，當(dāng)瀏覽器關(guān)閉時，頁面上該顯示什樣的內(nèi)容，事實上是在noscript標(biāo)簽中堆積很多關(guān)鍵詞，這種做法是相關(guān)有危險的，很容易就會導(dǎo)致內(nèi)容被刪除。

五、低質(zhì)量內(nèi)容被歸為垃圾站點

不管是自身網(wǎng)站的重復(fù)內(nèi)容，還是網(wǎng)站從外部獲得的重復(fù)內(nèi)容，蜘蛛都能一定程度的對其識別，對于重復(fù)的內(nèi)容頁面，蜘蛛不會繼續(xù)放入自己的數(shù)據(jù)庫，甚至?xí)σ恍┑蜋?quán)重的網(wǎng)站，進(jìn)行刪除索引的操作。

在互聯(lián)網(wǎng)垃圾泡沫的時代，要想真正的做到收錄充分,擠在行業(yè)的前列，還是要堅持去做高質(zhì)量的內(nèi)容，這樣才能長久在業(yè)界生存，網(wǎng)站權(quán)重才會越來越高。