SEO服務器需要做好robots.txt【艾娜】

為何需要用robots.txt這個文件來告訴搜索機器人不要爬行我們的部分網頁，比如：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。說到底了，這些頁面或文件被搜索引擎收錄了，用戶也看不了，多數需要口令才能進入或是數據文件。既然這樣，又讓搜索機器人爬行的話，就浪費了服務器資源，增加了服務器的壓力，因此我們可以用robots.txt告訴機器人集中注意力去收錄我們的文章頁面。增強用戶體驗。

1，用robots屏蔽網站重復頁

很多網站一個內容提供多種瀏覽版本，雖然很方便用戶卻對蜘蛛造成了困難，因為它分不清那個是主，那個是次，一旦讓它認為你在惡意重復，你就慘了

User-agent： *

Disallow： /sitemap/ 《禁止蜘蛛抓取 文本網頁》

2，用robots保護網站安全

很多人納悶了，robots怎么還和網站安全有關系了？其實關系還很大，不少低級黑客就是通過搜索默認后臺登陸，以達到入侵網站的目標

User-agent： *

Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有文件》

3，防止盜鏈

一般盜鏈也就幾個人，可是一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，如果你做的不是圖片網站，又不想被搜索引擎“盜鏈”你的網站圖片

User-agent： *

Disallow： .jpg$

4，提交網站地圖

現在做優化的都知道做網站地圖了，可是卻沒幾個會提交的，絕大多數人是干脆在網頁上加個鏈接，其實robots是支持這個功能的

5，禁止某二級域名的抓取

一些網站會對VIP會員提供一些特殊服務，卻又不想這個服務被搜索引擎檢索到

User-agent： *

Disallow： /
-

新上的美國站群服務器8C 現貨 限量特價 速定! cn2限量一人3臺
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美國站群服務器 特價歡迎聯系在線客服 QQ 4001886560 482986990

--------------------