robots协议是什么意思

Robots协议是搜索引擎与网站站长协商后得到的一个访问许可文件。网站的站长可以通过Robots文件设置搜索引擎允许访问什么内容，禁止访问什么内容？Robots文件是一个纯文本文件，它应该放在网站的根目录下面，如果你的网站有这个协议或者打算生成Robots，可以通过百度官网的Robots站长工具来查看和生成。
一般来说一个网站robotx包括三部分内容： 1.设置对什么蜘蛛生效 User-agent: * 2.设置允许访问与禁止访问的内容。 Allow: Disallow: 3.将网站地图放在robots里面。