站群機robots.txt的幾個關鍵語法【艾娜】

a、User-agent: 應用下文規則的漫游器，比如Googlebot,Baiduspider等。

b、Disallow: 要攔截的網址,不允許機器人訪問。

c、Allow: 允許訪問的網址

d、”*” : 通配符—匹配0或多個任意字符。

e、”$” : 匹配行結束符。

f、”#” : 注釋—說明性的文字,不寫也可。

g、Googlebot: 谷歌搜索機器人(也叫搜索蜘蛛)。

h、Baiduspider: 百度搜索機器人(也叫搜索蜘蛛)。

i、目錄、網址的寫法:都以以正斜線 (/) 開頭。

如

Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/
----------------------

新上的美國站群服務器8C 現貨 限量特價 速定! cn2限量一人3臺
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美國站群服務器 特價歡迎聯系在線客服  QQ 4001886560 482986990