Robots協(xié)議-生效時間
作者：一抹淺笑
瀏覽：984次
發(fā)布時間：2017-08-28
編輯
分享
評論
贊0
robots.txt文件一般生效時間為7-15天，即1-2周。如果新網(wǎng)站源碼中包含robots.txt文件，那樣蜘蛛進行爬行時就會生效，如果是后來添加的，那樣蜘蛛需要對數(shù)據(jù)進行更新，時間一般在7-15天。
特別提示：robots里面內容的大小寫不可更改，Disallow后面的冒號必須為英文狀態(tài)的，遵守先允許后禁止書寫順序。
猜你喜歡