首先我們得要知道robots文件時(shí)干什么的？存放的位置在哪里？

robots文件主要是告訴搜素引擎，網(wǎng)站哪些頁(yè)面可以抓取，哪些頁(yè)面拒絕抓取，下面我們看下幾個(gè)截圖！

京東牛B吧，拒絕了360，一淘網(wǎng)，

disallow的主要作用是拒絕某些指定的搜索引擎抓取我們不想讓他看見的頁(yè)面，作為企業(yè)站的我們肯定是希望搜索引擎來(lái)抓取我們那么這個(gè)disallow到底有什么具體應(yīng)用呢，其實(shí)我們可以用disallow拒絕404錯(cuò)誤的地址頁(yè)面或者重復(fù)的頁(yè)面！

 User-agent: * （聲明禁止所有的搜索引擎抓取以下內(nèi)容）

Disallow：/blog/（禁止網(wǎng)站blog欄目下所有的頁(yè)面。比如說(shuō)：/blog/123.html）

Disallow：/api（比如說(shuō)：/apifsdfds/123.html也會(huì)被屏蔽。）

 Disallow：*?*（只要你的路徑里面帶有問號(hào)的路徑，那么這條路徑將會(huì)被屏蔽。比如說(shuō)：http://xxxxx/?expert/default.html將會(huì)被屏蔽。）

Disallow：/*.php$（意思是以.php結(jié)尾的路徑全部屏蔽掉。）

 Sitemap:http://xxx.com/sitemap.html 網(wǎng)站地圖 告訴爬蟲這個(gè)頁(yè)面是網(wǎng)站地圖

User-agent: * 允許訪問所有

Disallow: /   拒絕所有

Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片