主流的搜索引擎都聲稱(chēng)自己的spider對(duì)網(wǎng)站的抓取行為和普通用戶(hù)的訪(fǎng)問(wèn)行為沒(méi)有太大的區(qū)別。

　　站在用戶(hù)的立場(chǎng)來(lái)理解這句話(huà)是沒(méi)有問(wèn)題的，但是站在站長(zhǎng)和SEO的角度這句話(huà)就不太正確了。

　　在網(wǎng)頁(yè)上其實(shí)有很多東西普通用戶(hù)是看不到的也分不清楚的，但是spider卻是可以看到的，網(wǎng)頁(yè)上也有很多東西普通用戶(hù)可以看到，但是spider卻是視而不見(jiàn)的。

　　如何看待網(wǎng)頁(yè)，spider和普通用戶(hù)是有一些區(qū)別的，具體表現(xiàn)在以下方面：

　　1、 網(wǎng)頁(yè)中的隱藏內(nèi)容，是否被掛了黑鏈等這些spider是無(wú)法分辨得出來(lái)的。網(wǎng)站中的圖片文件也是spider無(wú)法分辨的，更不能讀取JS，Iframe，Ajax和Flash中的內(nèi)容，普通用戶(hù)卻是相關(guān)的，這些普通用戶(hù)都是可以看到的。

　　2、 Spider沒(méi)有Referer，對(duì)網(wǎng)站的抓取全部都是直接訪(fǎng)問(wèn)的，而普通用戶(hù)出來(lái)直接訪(fǎng)問(wèn)的用戶(hù)外一般都是由Referer的。

　　3、 Spider對(duì)網(wǎng)站的訪(fǎng)問(wèn)是不存在Cookie的，但是普通用戶(hù)訪(fǎng)問(wèn)網(wǎng)站是會(huì)產(chǎn)生cookie記錄的。

　　4、 Spider不會(huì)主動(dòng)注冊(cè)登入網(wǎng)站，但是普通的用戶(hù)卻是可以的，原則上spider不會(huì)抓取和分析網(wǎng)站robots中限制的內(nèi)容，但是普通的用戶(hù)是可以正常訪(fǎng)問(wèn)的。

　　5、 Spider對(duì)于有動(dòng)態(tài)的參數(shù)URL可以能會(huì)陷入死循環(huán)，但是普通的用戶(hù)是不會(huì)的。

　　6、 Spider對(duì)列表中前幾頁(yè)的新內(nèi)容可能抓取不好，但是普通用戶(hù)對(duì)感興趣的內(nèi)容是可以瀏覽的

　　7、 Spider只是機(jī)械的判斷文章的原偽度，但是普通用戶(hù)可以通過(guò)多角度來(lái)對(duì)一篇文章進(jìn)行判斷甄別。　　了解了spider和普通用戶(hù)的區(qū)別，我們?cè)谌粘５膬?yōu)化過(guò)程中，在不影響用戶(hù)體驗(yàn)，不使用作弊手法的情況下，迎合搜索引擎spider的習(xí)慣，最大可能的提高網(wǎng)站在搜索引擎中的表現(xiàn)。而誤導(dǎo)spider，鉆spider空子的做法雖可能短期從搜索引擎中獲得搜索流量但不會(huì)長(zhǎng)久，還是不可取得。以用戶(hù)為中心，最大可能的滿(mǎn)足用戶(hù)的需求才是正道。