Robots協議
作者：零啟老師
瀏覽：1024次
發布時間：2018-05-25
編輯
分享
評論
贊0
例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問 （或者也可以建一個空文件 “/robots.txt” file）
User-agent: *
Allow: /
例3. 僅禁止Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網站
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
猜你喜歡