在做優(yōu)化的時(shí)候，重復(fù)頁面收錄是一件很頭疼的事情，搜索引擎對(duì)于重復(fù)頁面目前來說并沒有完美的解決方案，之前看到一篇文章，大意是推薦網(wǎng)站管理員自己去屏蔽重復(fù)頁面，我們對(duì)此可以認(rèn)識(shí)百度目前的技術(shù)并不能去主動(dòng)解決重復(fù)頁面的問題。

　　重復(fù)頁面的危害，大多會(huì)造成關(guān)鍵詞排名下降，甚至降權(quán)，那么重復(fù)頁面是如何產(chǎn)生的呢?經(jīng)我仔細(xì)研究后發(fā)現(xiàn)，造成重復(fù)頁面的途徑，主要為以下幾點(diǎn)：

　　1.網(wǎng)站改版后URL重構(gòu)，造成一個(gè)頁面有2套URL，搜索引擎抓取2套URL后，造成重復(fù)頁面。

　　2.網(wǎng)站做偽靜態(tài)，偽靜態(tài)后，動(dòng)態(tài)路徑和蔚靜態(tài)共存，搜索引擎抓取后，造成重復(fù)頁面。

　　3.追蹤參數(shù)，為跟蹤流量來源，細(xì)分流量渠道，多數(shù)網(wǎng)站在推廣時(shí)會(huì)在url中帶上“?”的標(biāo)記

　　解決方案

　　1.使用Canonial標(biāo)簽

　　Canonical 是谷歌、雅虎、微軟等搜索引擎一起推出的一個(gè)標(biāo)簽，它的主要作用是用來解決由于網(wǎng)址形式不同內(nèi)容相同而造成的內(nèi)容重復(fù)問題。這個(gè)標(biāo)簽對(duì)搜索引擎作用非常大，簡(jiǎn)單的說它可以讓搜索引擎只抓取你想要強(qiáng)調(diào)的內(nèi)容，我們可以在頁面頭部設(shè)置該標(biāo)簽，告訴搜索引擎該頁面的標(biāo)準(zhǔn)URL是什么。

　　目前已確認(rèn)谷歌是支持該標(biāo)簽的，百度也曾在站長(zhǎng)平臺(tái)中確認(rèn)支持該標(biāo)簽，但是根據(jù)實(shí)際效果來看，百度對(duì)此支持的并不完美，仍有誤判情況出現(xiàn)。

　　2.使用robots.txt文件

　　Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　我們可以用robots.txt文件來屏蔽其他非標(biāo)準(zhǔn)URL，如動(dòng)態(tài)URL;

　　3.使用301重定向

　 　頁面永久性移走(301重定向)是一種非常重要的“自動(dòng)轉(zhuǎn)向”技術(shù)。網(wǎng)址重定向最為可行的一種辦法。當(dāng)用戶或搜索引擎向網(wǎng)站服務(wù)器發(fā)出瀏覽請(qǐng)求時(shí)，服務(wù) 器返回的HTTP數(shù)據(jù)流中頭信息(header)中的狀態(tài)碼的一種，表示本網(wǎng)頁永久性轉(zhuǎn)移到另一個(gè)地址。在搜索引擎優(yōu)化中，301技術(shù)可以告訴搜索引擎該 頁面的新URL地址，確保權(quán)重傳遞不流失。

　　4.追蹤標(biāo)記用“#”而非“?”

　　為跟蹤流量來源，細(xì)分流量渠道，在URL中添加追蹤標(biāo)記是必要的，但是該標(biāo)記又和seo相違背，因?yàn)樘砑恿俗粉櫂?biāo)記，就會(huì)產(chǎn)生重復(fù)頁面問題。之前百度站長(zhǎng)平臺(tái)也發(fā)布公告稱：如果是為了追蹤流量，那么建議使用“#”標(biāo)記，而非“?”標(biāo)記，經(jīng)過本人的試驗(yàn)發(fā)現(xiàn)百度確實(shí)不會(huì)收錄含有“#”標(biāo)記的URL。

　　#代表網(wǎng)頁中的一個(gè)位置，是用來指導(dǎo)瀏覽器動(dòng)作的，對(duì)服務(wù)器端完全無用。所以，HTTP請(qǐng)求中不包括#。

　　比如，訪問網(wǎng)址，www.xxx.cn/post/24.html/#weibo

　　瀏覽器實(shí)際發(fā)出的請(qǐng)求是這樣的：

　　GET /index.html HTTP/1.1

　　Host:www.xxx.cn/post/24.html

　　可以看到，只是請(qǐng)求www.xxx.cn/post/24.html，根本沒有"#weibo"的部分，搜索一部分實(shí)例后發(fā)現(xiàn)，百度確實(shí)未收錄含有“#”的URL;

　　備注：“#”和"#!"兩個(gè)標(biāo)記完全不一樣，請(qǐng)勿混淆。

??????