robots协议是什么？ 您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被爬虫访问的部分，这样，该网站的部分或全部内容就可以不被收录了，或指定搜索引擎只收录指定的内容。 robots.txt（文件名必须小写）是一种...