Robots文件是搜索引擎訪(fǎng)問(wèn)網(wǎng)站時(shí)第一個(gè)要讀取的文件，它告訴搜索程序服務(wù)器上哪些內(nèi)容可以抓取，

哪些不用抓取。

目前網(wǎng)站的robots文件里面的抓取規(guī)則已經(jīng)日趨完善，比如禁止了網(wǎng)頁(yè)中圖片的抓取，禁止蜘蛛抓取一

些會(huì)員隱私（個(gè)人簡(jiǎn)歷）頁(yè)面、一些無(wú)用頁(yè)面（之前的推廣頁(yè)面）、樣式表文件等，但是仍然有部分頁(yè)

面并不需要蜘蛛程序的抓取，這部分頁(yè)面只是面向用戶(hù)的，搜索引擎抓取了并沒(méi)有什么意義，瓜分了頁(yè)

面的權(quán)重。

一、網(wǎng)站的404頁(yè)面

每個(gè)網(wǎng)站都存在一些錯(cuò)誤頁(yè)面，404頁(yè)面的存在就是為了當(dāng)用戶(hù)訪(fǎng)問(wèn)了錯(cuò)誤頁(yè)面的時(shí)候能夠?qū)⒂脩?hù)引導(dǎo)到

正確的頁(yè)面上，防止網(wǎng)站流量的流失。而一個(gè)頁(yè)面較多的網(wǎng)站肯定存在很多的錯(cuò)誤頁(yè)面，這就導(dǎo)致存在

很多相似的404頁(yè)面：

所以，一旦404頁(yè)面太多，而還讓搜索引擎去收錄，就會(huì)導(dǎo)致網(wǎng)站把權(quán)重分給這些404頁(yè)面，所以應(yīng)該屏

蔽404頁(yè)面。

添加規(guī)則：Disallow：/404.html

二、網(wǎng)站部分導(dǎo)航頁(yè)面

網(wǎng)站底部的一些導(dǎo)航頁(yè)面，如“市場(chǎng)合作”“網(wǎng)站聲明”“付費(fèi)方式”等都是針對(duì)客戶(hù)的頁(yè)面，幾乎沒(méi)

有用戶(hù)通過(guò)搜索引擎上搜索這些頁(yè)面并到達(dá)網(wǎng)站，而且這些導(dǎo)航頁(yè)面是全站顯示的，所有的內(nèi)容頁(yè)面都

存在，同樣的也要分散這些頁(yè)面的權(quán)重。

這部分頁(yè)面都是位于同一目錄/main下，該目錄下除保留部分頁(yè)面需蜘蛛進(jìn)行抓取外，其他頁(yè)面可以都禁

止，保留頁(yè)面為：“關(guān)于我們”（main/aboutus.asp），友情鏈接（main/friendlink.asp）。此外“資

費(fèi)標(biāo)準(zhǔn)”“付費(fèi)方式”頁(yè)面位于企業(yè)會(huì)員中心頁(yè)面，這些頁(yè)面也沒(méi)有必要對(duì)搜索引擎開(kāi)放。

添加規(guī)則：

Allow：/main/aboutus*

Allow：/main/friendlink*

Allow：/main/recruitmeeting*

Allow：/main/investigation*

Disallow：/main/

Disallow：/company/companyapplymember*

將現(xiàn)有規(guī)則中最后一條刪除：disallow： /main/refuse*

將新添加的兩條“Allow”規(guī)則放到disallow命令的前面。

通過(guò)一些對(duì)搜索引擎抓取意義不大的頁(yè)面，將首頁(yè)和一些內(nèi)容頁(yè)面的權(quán)重更加集中。