SEO服務器需要做好robots.txt【艾(ai)娜】

為何(he)需(xu)要(yao)用(yong)robots.txt這個文(wen)(wen)(wen)件(jian)(jian)來告訴(su)搜索(suo)機器人(ren)不(bu)要(yao)爬(pa)行我(wo)們(men)的部分網頁，比如：后臺管理文(wen)(wen)(wen)件(jian)(jian)、程序腳(jiao)本(ben)、附件(jian)(jian)、數(shu)據(ju)庫文(wen)(wen)(wen)件(jian)(jian)、編(bian)碼(ma)文(wen)(wen)(wen)件(jian)(jian)、樣(yang)式表文(wen)(wen)(wen)件(jian)(jian)、模板文(wen)(wen)(wen)件(jian)(jian)、導航圖(tu)片(pian)和背景圖(tu)片(pian)等(deng)等(deng)。說到底了(le)(le)，這些頁面或文(wen)(wen)(wen)件(jian)(jian)被(bei)搜索(suo)引擎收錄了(le)(le)，用(yong)戶也(ye)看不(bu)了(le)(le)，多(duo)數(shu)需(xu)要(yao)口令才能進入(ru)或是數(shu)據(ju)文(wen)(wen)(wen)件(jian)(jian)。既然這樣(yang)，又讓搜索(suo)機器人(ren)爬(pa)行的話，就浪(lang)費了(le)(le)服(fu)務器資(zi)源，增加了(le)(le)服(fu)務器的壓(ya)力，因此我(wo)們(men)可以用(yong)robots.txt告訴(su)機器人(ren)集(ji)中(zhong)注意(yi)力去收錄我(wo)們(men)的文(wen)(wen)(wen)章頁面。增強用(yong)戶體驗(yan)。

1，用robots屏(ping)蔽網站重復(fu)頁(ye)

很多網(wang)站一個(ge)(ge)內容提供(gong)多種瀏覽版本，雖然很方便用戶(hu)卻(que)對蜘蛛造(zao)成了困難，因(yin)為它分不(bu)清那(nei)個(ge)(ge)是(shi)主，那(nei)個(ge)(ge)是(shi)次，一旦讓它認為你在惡(e)意重復，你就慘(can)了

User-agent： *

Disallow： /sitemap/ 《禁止(zhi)蜘(zhi)蛛抓取 文本網頁》

2，用(yong)robots保護網(wang)站(zhan)安全

很多人(ren)納悶了，robots怎么還和網(wang)站安(an)全有關(guan)系了？其實(shi)關(guan)系還很大，不少低(di)級(ji)黑(hei)客就(jiu)是通過(guo)搜(sou)索默認后臺登陸(lu)，以(yi)達到入侵網(wang)站的目標

User-agent： *

Disallow： /admin/ 《禁止蜘蛛抓(zhua)取admin目錄下所(suo)有文(wen)件》

3，防止盜鏈

一般盜(dao)(dao)鏈也(ye)就幾(ji)個人，可(ke)是一旦被搜索引(yin)擎“盜(dao)(dao)鏈”那(nei)家伙你100M寬帶也(ye)吃不消，如果你做(zuo)的不是圖(tu)片(pian)網站(zhan)，又不想被搜索引(yin)擎“盜(dao)(dao)鏈”你的網站(zhan)圖(tu)片(pian)

User-agent： *

Disallow： .jpg$

4，提交網站地圖

現在做優化(hua)的都知道做網(wang)站地(di)圖了，可(ke)是卻沒幾個會提(ti)交(jiao)的，絕大多數(shu)人是干脆在網(wang)頁(ye)上加個鏈接，其實robots是支持這個功能的

5，禁(jin)止某二級域名(ming)的(de)抓取

一(yi)些網(wang)站會(hui)對VIP會(hui)員提供一(yi)些特殊服務，卻又不想這個服務被搜(sou)索引擎檢索到

User-agent： *

Disallow： /
-

新上的美國站群服務器8C 現貨 限量特價 速定! cn2限量一人3臺
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美國站群服務器 特價歡迎聯系在線客服 QQ 4001886560 482986990

--------------------