1. 什么是robots.txt文件?

　　搜索引擎使用spider程序手動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì )首先會(huì )檢測該網(wǎng)站的根域下是否有一個(gè)叫 做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng )建一個(gè)robots.txt，在文件中 聲明 該網(wǎng)站中不想被搜索引擎收錄的部份或則指定搜索引擎只收錄特定的部份。

　　請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內容時(shí)，才須要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內容，請勿構建robots.txt文件。

　　2. robots.txt文件置于那里?

　　robots.txt 文件應當放置在網(wǎng)站根目錄下。舉例來(lái)說(shuō)，當spider訪(fǎng)問(wèn)一個(gè)網(wǎng)站（比如 ）時(shí)，首先會(huì )檢測該網(wǎng)站中是否存在 robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它還會(huì )依據這個(gè)文件的內容，來(lái)確定它訪(fǎng)問(wèn)權限的 范圍。

　　網(wǎng)站 URL

　　相應的 robots.txt的 URL

　　:80/

　　:80/robots.txt

　　:1234/

　　:1234/robots.txt

　　3. 我在robots.txt中設置了嚴禁百度收錄我網(wǎng)站的內容，為何還出現在百度搜索結果中？

　　如果其他網(wǎng)站鏈接了您robots.txt文件中設置的嚴禁收錄的網(wǎng)頁(yè)，那么這種網(wǎng)頁(yè)依然可能會(huì )出現在百度的搜索結果中，但您的網(wǎng)頁(yè)上的內容不會(huì )被抓取、建入索引和顯示，百度搜索結果中展示的僅是其他網(wǎng)站對您相關(guān)網(wǎng)頁(yè)的描述。

　　4. 禁止搜索引擎跟蹤網(wǎng)頁(yè)的鏈接，而只對網(wǎng)頁(yè)建索引

　　如果您不想搜索引擎追蹤此網(wǎng)頁(yè)上的鏈接，且不傳遞鏈接的權重，請將此元標記置入網(wǎng)頁(yè)的 部分：

　　如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標記直接寫(xiě)在某條鏈接上：

　　signin

　　要容許其他搜索引擎跟蹤，但僅避免百度跟蹤您網(wǎng)頁(yè)的鏈接，請將此元標記置入網(wǎng)頁(yè)的 部分：

　　Baiduspider" content="nofollow">

　　5. 禁止搜索引擎在搜索結果中顯示網(wǎng)頁(yè)快照，而只對網(wǎng)頁(yè)建索引

　　要避免所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁(yè)的部份：

　　要容許其他搜索引擎顯示快照，但僅避免百度顯示，請使用以下標記：

　　Baiduspider" content="noarchive">

　　注：此標記只是嚴禁百度顯示該網(wǎng)頁(yè)的快照，百度會(huì )繼續為網(wǎng)頁(yè)建索引，并在搜索結果中顯示網(wǎng)頁(yè)摘要。

　　6. 我想嚴禁百度圖片搜索收錄個(gè)別圖片，該怎么設置？

　　禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或容許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過(guò)設置robots實(shí)現，請參考“robots.txt文件用法舉例”中的例10、11、12。

　　7. robots.txt文件的格式

　　"robots.txt"文件包含一條或更多的記錄，這些記錄通過(guò)空行分開(kāi)（以CR,CR/NL, or NL作為結束符），每一條記錄的格式如下所示：

　　":"

　　在該文件中可以使用#進(jìn)行注解，具體使用方式和UNIX中的慣例一樣。該文件中的記錄一般以一行或多行User-agent開(kāi)始搜索引擎禁止的方式優(yōu)化網(wǎng)站，后面加上若干Disallow和Allow行,詳細情況如下：

　　User-agent:

　　該項的值用于描述搜索引擎robot的名子。在"robots.txt"文件中，如果有多條User-agent記錄說(shuō)明有多個(gè)robot會(huì ) 受 到"robots.txt"的限制，對該文件來(lái)說(shuō)，至少要有一條User-agent記錄。如果該項的值設為*，則對任何robot均有 效， 在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加 入"User- agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只遭到"User- agent:SomeBot"后面的 Disallow和Allow行的限制。

　　Disallow:

　　該 項的值用于描述不希望被訪(fǎng)問(wèn)的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開(kāi)頭的URL不會(huì ) 被 robot訪(fǎng)問(wèn)。例如"Disallow:/help"禁止robot訪(fǎng)問(wèn)/help.html、/helpabc.html、 /help /index.html，而"Disallow:/help/"則容許robot訪(fǎng)問(wèn)/help.html、/helpabc.html搜索引擎禁止的方式優(yōu)化網(wǎng)站，不 能訪(fǎng)問(wèn) /help/index.html。"Disallow:"說(shuō)明容許robot訪(fǎng)問(wèn)該網(wǎng)站的所有url，在"/robots.txt"文件中，至 少要有一條Disallow記錄。如果"/robots.txt"不存在或則為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

　　Allow:

　　該項的值用于描述希望被訪(fǎng)問(wèn)的一組URL，與Disallow項相像，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開(kāi)頭 的 URL 是容許robot訪(fǎng)問(wèn)的。例如"Allow:/hibaidu"允許robot訪(fǎng)問(wèn)/hibaidu.htm、 /hibaiducom.html、 /hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認是Allow的，所以Allow一般與 Disallow搭配使用，實(shí)現準許訪(fǎng)問(wèn)一部分網(wǎng)頁(yè)同時(shí)嚴禁訪(fǎng)問(wèn)其它所有URL的功能。

　　使用"*"and"$"：

　　Baiduspider支持使用轉義"*"和"$"來(lái)模糊匹配url。

　　"$" 匹配行結束符。

　　"*" 匹配0或多個(gè)任意字符。

　　注：我們會(huì )嚴格遵循robots的相關(guān)合同，請注意分辨您不想被抓取或收錄的目錄的大小寫(xiě)，我們會(huì )對robots中所寫(xiě)的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議未能生效。

　　8. URL匹配舉例

　　Allow或Disallow的值

　　URL

　　匹配結果

　　/tmp

　　/tmp

　　yes

　　/tmp

　　/tmp.html

　　yes

　　/tmp

　　/tmp/a.html

　　yes

　　/tmp

　　/tmphoho

　　no

　　/Hello*

　　/Hello.html

　　yes

　　/He*lo

　　/Hello,lolo

　　yes

　　/Heap*lo

　　/Hello,lolo

　　no

　　html$

　　/tmpa.html

　　yes

　　/a.html$

　　/a.html

　　yes

　　htm$

　　/a.html

　　no

　　9. robots.txt文件用法舉例

　　例1. 禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部份

　　下載該robots.txt文件

　　User-agent: *

　　Disallow: /

　　例2. 允許所有的robot訪(fǎng)問(wèn)

　　(或者也可以建一個(gè)空文件 "/robots.txt")

　　User-agent: *

　　Allow: /

　　例3. 僅嚴禁Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站

　　User-agent: Baiduspider

　　Disallow: /

　　例4. 僅容許Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站

　　User-agent: Baiduspider

　　Allow: /

　　User-agent: *

　　Disallow: /

　　例5. 僅容許Baiduspider以及Googlebot訪(fǎng)問(wèn)

　　User-agent: Baiduspider

　　Allow: /

　　User-agent: Googlebot

　　Allow: /

　　User-agent: *

　　Disallow: /

　　例6. 禁止spider訪(fǎng)問(wèn)特定目錄

　　在這個(gè)事例中，該網(wǎng)站有三個(gè)目錄對搜索引擎的訪(fǎng)問(wèn)做了限制，即robot不會(huì )訪(fǎng)問(wèn)這三個(gè)目錄。需要注意的是對每一個(gè)目錄必須分開(kāi)申明，而不能寫(xiě)成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例7. 允許訪(fǎng)問(wèn)特定目錄中的部份url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例8. 使用"*"限制訪(fǎng)問(wèn)url

　　禁止訪(fǎng)問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　例9. 使用"$"限制訪(fǎng)問(wèn)url

　　僅準許訪(fǎng)問(wèn)以".htm"為后綴的URL。

　　User-agent: *

　　Allow: /*.htm$

　　Disallow: /

　　例10. 禁止訪(fǎng)問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

　　User-agent: *

　　Disallow: /*?*

　　例11. 禁止Baiduspider抓取網(wǎng)站上所有圖片

　　僅容許抓取網(wǎng)頁(yè)，禁止抓取任何圖片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /*.jpeg$

　　Disallow: /*.gif$

　　Disallow: /*.png$

　　Disallow: /*.bmp$

　　例12. 僅容許Baiduspider抓取網(wǎng)頁(yè)和.gif格式圖片

　　允許抓取網(wǎng)頁(yè)和gif格式圖片，不容許抓取其他格式圖片

　　User-agent: Baiduspider

　　Allow: /*.gif$

　　Disallow: /*.jpg$

　　Disallow: /*.jpeg$

　　Disallow: /*.png$

　　Disallow: /*.bmp$

　　例13. 僅嚴禁Baiduspider抓取.jpg格式圖片

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　10. robots.txt文件參考資料

　　robots.txt文件的更具體設置,請參看以下鏈接：

　　Web Server Administrator's Guide to the Robots Exclusion Protocol

　　HTML Author's Guide to the Robots Exclusion Protocol

　　The original 1994 protocol description, as currently deployed

　　The revised Internet-Draft specification, which is not yet completed or implemented