靓：Robots文件不支持中文目录。进行UrlEncode编码则取决于当时BaiduSpider抓取的是哪种形式结构的链接，如果是UrlEncode编码就可以生效，如果是中文则失效。

【内容摘要】百度和360从2012年起展开的一场屏蔽与反屏蔽战，把原本程序员才知道的Robots协议变成媒体热词，北京一中院在今年8月7日对3B搜索不正当竞争纠纷案(3B案)作出的一审判决，又让Robots协议在新闻里火了一把。 即使不是工程师，长期关注互联网的人也很难没听说过Robots协议。百度和360从2012年起展开的一场屏蔽与反屏蔽战，把原本程序员才知道的Robots协议变成媒体热词，北京一中院在今年8月7日对3B搜索不正当竞争纠纷案(3B案)作出的一审判决

/index.html - 220.181.108.184 返回404，建站第一天百度就来了~~~

Robots协议的创始人、荷兰籍网络工程师Martijn Koster在Robot的官方网站上也明确提出，Robots协议是Robots创作者们向互联网社区提供的用来保护互联网服务器免受骚扰的一个通用工具。该协议是一个未经标准组织备案的非官方标准，也不属于任何商业组织，不受任何机构保护，所有现有和未来的机器人不一定使用本协议。由于该协议可防止搜索引擎抓取无效信息而导致效率低下，也防止搜索引擎的无限抓取会影响网站的服务质量，因此被各大互联网公司普

一楼祭天

各位网站管理员， 您之前是否遇到过百度搜索结果中个别网页无摘要显示的现象，或发生过网站部分内容不收录的问题，站长平台提示您出现这两种情况可能是由于网站设置了robots.txt文件引起的。为了能够让站长更方便的了解网站页面在出现上述问题时是否是由于设置了robots文件，百度网页搜索结果中上线了robots.txt文件提示。当网站使用robots.txt文件禁止百度收录网站的部分或全部内容，百度将会在搜索结果中给出robots.txt的提示，让站长及时了解网

引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。下面我们简称RES。 Robots.txt文件的格式： 　　Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成： 　　1) 一个User-Agent(用户代理)字符串行； 　　2) 若干Disallow字符串行。 　　记录格式为： ":" 　　下面我们分别对这两个域做进一步说明。 User