網(wǎng)站SEO優(yōu)化中robots.txt有什么作用。我們講述的網(wǎng)站SEO優(yōu)化當中的各種代碼或者說程序優(yōu)化、路徑優(yōu)化等方面都是有作用的，說白了都是為了SEO優(yōu)化鋪墊和準備。首先robots.txt是任何搜索引擎都認識且優(yōu)先讀取的文件。在網(wǎng)站程序根目錄下建立robots.txt是十分有必要的，假如說你沒有建立這個文件，那么默認任何搜索引擎抓取你網(wǎng)站根目錄下的所有文件。

網(wǎng)站SEO優(yōu)化中robots文件有什么作用

一、建立robots.txt的作用有哪些

搜索引擎在對你網(wǎng)站進行抓取的時候，他會分配資源去你的網(wǎng)站，那么這個時候，如果它派來的蜘蛛爬蟲能夠找到網(wǎng)站的有效內(nèi)容，且不耽誤時間，那么它下次就會經(jīng)常光顧。所以robots.txt就是減少搜索引擎抓取網(wǎng)站內(nèi)容的工作量，有些內(nèi)容抓取了沒有任何意義，還占用了搜索引擎資源。我們要集中資源抓取有用有效的內(nèi)容。

二、常用的robots.txt寫法有哪些

1、*：意思就是通配符，即所有搜索引擎。

User-agent: *

Disallow: /

禁止所有搜索引擎抓取網(wǎng)站的文件。

2、Disallow: /*?*

這個意思是禁止抓取網(wǎng)站動態(tài)頁面

3、User-agent: *

Disallow: /hflmwl/

Allow: /hflmwlo/

這個意思就是說，hflmwl這個文件我不抓取，但是我要抓取hflmwl文件夾下面的seo子文件。記住通常情況下Allow是配合Disallow使用，單獨不使用。

三、網(wǎng)站SEO優(yōu)化當中常見robots文件

User-agent: * 

Disallow: /caches

Disallow: /phpcms

Disallow: /install

Disallow: /phpsso_server

Disallow: /api

Disallow: /admin.php

Sitemap: http://zhekd.cn/sitemaps.xml

注意事項：網(wǎng)站的當中地圖可以在robots里面添加，可以讓搜索引擎最快的速度抓取網(wǎng)站地圖，進而對網(wǎng)站的目錄進行檢索和內(nèi)容進行收錄。另外就是網(wǎng)站的robots必不可少，千萬不要不要寫，對于搜索引擎不友好，對網(wǎng)站來說也不好。

特別需要注意的就是中間的冒號，是英文冒號，然后空格，記得寫完之后，可以通過百度站長工具進行檢測一下：http://zhanzhang.baidu.com/dashboard/index ，在“工具”—“網(wǎng)頁抓取”—“Robots”進行檢測一遍，看看自己寫的是否正確。