一、站點結構

　　1、邏輯清晰的鏈接層次結構

　　A、以首頁為根節點的樹狀連通圖

　　B、避免過于扁平化的結構

　　C、避免孤島鏈接

　　首頁-頻道-索引-內容頁

　　注意: 不利于spider抓取的情況

　　1、通過query（搜索）檢索得到的內頁。

　　2、需要相應設置才能訪問內頁的情況

　　………………………………………………

　　2、PC/移動適配

　　1)建立適配：PC與移動端URL，有規則級的對應關系，且相互關聯

　　2)不建議做法

　　A、單一域名下多種配置方式

　　B、把移動站作為PC下一級目錄，如: 3w。a.com/m/

　　3、數據主動提交

　　新產出鏈接與發生變化的資源鏈接應及時提交（避免死鏈）

　　4、避免目錄被黑或售賣

　　二、頁面結構

　　1、不建議使用js加載頁面內容

　　1)內容放置js中，影響索引

　　2)鏈接和錨文本的鏈接

　　注: 1)索引頁js渲染點擊事件才發生鏈接

　　2)顯示一部分，點擊加載全文/下拉

　　2、移動友好性標準

　　3、索引頁友好性

　　1)排版布局:

　　A、按發布時間順序、忌時間錯亂（置頂內容可模塊化處理）

　　B、不要漏鏈（孤島）

　　2)內容質量

　　A、只包括同主題內容頁

　　B、保持與內容同步更新

　　C、避免交叉泛濫索引頁

　　4、索引頁翻頁友好性（PC端)

　　1)1 2 3 順序排序

　　如果可能，盡量列舉全部翻頁，至少保留最近一段時間的所有內容

　　2)不友好做法

　　A、僅有上一頁、下一頁

　　B、URL以頁數控制，不要用URL起始數量

　　C、翻頁后鏈URL與翻頁頁碼關聯

　　5、索引頁翻頁友好性（移動端）

　　A、采用PC端翻頁建議

　　B、采用下拉動作觸發加載，下拉次數上限為3次

　　C、針對百度UA特殊處理，返回更完整的翻頁內容

　　注意: 不友好做法

　　無限下拉、點擊加載更多

　　三、抓取限制

　　1、避免預期以外的封禁

　　1)UA/IP封禁

　　A、建站模板中包含的封禁信息，被遷移

　　B、服務器自動封禁策略

　　C、網站所在空間服務商封禁IP

　　2、建議

　　服務器設置排查，確保robots、UA、IP設置是否符合預期

　　3、死鏈接反饋

　　對于百度蜘蛛的抓取，返回404等明確狀態碼

　　………………………………………………

　　深度解讀百度抓取提升神器-鏈接提交

　　高級工程師 劉立

　　1、主動提交（實時提交）原理

　　傳統: 網站發布新頁面-等待百度爬蟲逐層遍歷發現-百度爬蟲發現網頁

　　實時: 網站發布新頁面-百度爬蟲發現網頁

　　2、大量提交垃圾和重復頁面的站點，限制提交或關閉