r​o​b​o​t​s.​t​x​t​怎么写?

r​o​b​o​t​s.​t​x​t​怎么写?
1、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）

User-agent: *

Disallow: /*?*

2、限定搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Disallow: /*.后缀形式（如.html、.htm、.php等等）

3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Allow: .后缀形式（如.html、.htm、.php等等）$

Disallow: /

4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider

User-agent: baiduspider

Disallow: /

5、阻止搜索擎访问网站特定某一文件格式的文件（注意不是网页）

User-agent: *

Disallow: /*.（文件格局：如gif、jpg等等）$

6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot

User-agent: baiduspider

Allow:

User-agent: googlebot

Allow:

7、要是你网站的某个目录不想被搜索引擎收录，写法如下：

User-agent: *

Disallow: /目录名称1/

Disallow: /目录名称2/

Disallow: /目录名称3/

过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。

8、容许全部的搜索引擎访问你的网站的任何部门，这是通常的用法。

User-agent: *

Disallow:

大概

User-agent: *

Allow: /

9、阻止全部搜索引擎访问网站的任何部门，也便是是阻止全部引擎收录你的网站。

User-agent: *

Disallow: /

10、容许搜索引擎访问特定目录中的网页

User-agent: *

Allow: /目录1/目录2（容许访问目录2中的网页）

Allow: /目录3/目录4（容许访问目录4中的网页）

Allow: /目录5/目录6（容许访问目录6中的网页）

Disallow: /目录1/

Disallow: /目录3/

Disallow: /目录5/

上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。