站群(qun)機robots.txt的(de)幾(ji)個關(guan)鍵(jian)語法【艾娜】

a、User-agent: 應用下文(wen)規則的漫游(you)器，比如(ru)Googlebot,Baiduspider等。

b、Disallow: 要(yao)攔截的網(wang)址,不允許(xu)機(ji)器人訪問。

c、Allow: 允許訪問的(de)網址

d、”*” : 通配(pei)符(fu)—匹(pi)配(pei)0或(huo)多個任意字(zi)符(fu)。

e、”$” : 匹(pi)配行(xing)結束符。

f、”#” : 注釋—說明性的文字,不寫(xie)也可。

g、Googlebot: 谷歌搜(sou)索(suo)機(ji)器人(也叫搜(sou)索(suo)蜘蛛)。

h、Baiduspider: 百度(du)搜索機器人(也(ye)叫搜索蜘蛛)。

i、目錄、網址的(de)寫法(fa):都以(yi)以(yi)正斜(xie)線(xian) (/) 開頭(tou)。

如

Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/
----------------------

新上的美國站群服務器8C 現貨 限量特價 速定! cn2限量一人3臺
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美(mei)國站群(qun)服務器 特(te)價歡迎聯系(xi)在線(xian)客服  QQ 4001886560 482986990