1、禁止所有搜索引擎訪問網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　2、允許所有的robot訪問(或者也可以建一個(gè)空文件 "/robots.txt")

　　第1種寫法

　　User-agent: *

　　Allow: /

　　第2種寫法

　　User-agent: *

　　Allow:

　　第3種寫法

　　User-agent: *

　　Disallow:

　　3、僅禁止Baiduspider訪問您的網(wǎng)站

　　User-agent: Baiduspider

　　Disallow: /

　　4、僅允許Baiduspider訪問您的網(wǎng)站

　　User-agent: Baiduspider

　　Allow: /

　　5、禁止spider訪問特定目錄

　　在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問做了限制，即robot不會(huì)訪問這三個(gè)目錄。

　　需要注意的是對(duì)每一個(gè)目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　6、允許訪問特定目錄中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　7、使用"*"限制訪問url

　　禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　8、使用"$"限制訪問url

　　僅允許訪問以".htm"為后綴的URL。

　　User-agent: *

　　Allow: / .htm$

　　9、禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面

　　User-agent: *

　　Disallow: /*?*

　　10、禁止Baiduspider抓取網(wǎng)站上所有圖片，僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /* .jpeg$

　　Disallow: /* .gif$

　　Disallow: /* .png$

　　Disallow: /*.bmp$

　　11、僅允許Baiduspider抓取網(wǎng)頁和。gif格式圖片允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: /.jpg$

　　Disallow: / .jpeg$

　　Disallow: / .png$

　　Disallow: /.bmp$

　　12、僅禁止Baiduspider抓取，jpg格式圖片。

　　User-agent: /Baiduspider

　　Disallow: /.jpg$

　　附件：百度各個(gè)產(chǎn)品使用不同的user-agent

　　無線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯(lián)盟 Baiduspider-cpro

　　商務(wù)搜索 Baiduspider-ads

　　網(wǎng)頁以及其他搜索 Baiduspider