robots协议是什么? 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被爬虫访问的部分,这样,该网站的部分或全部内容就可以不被收录了,或指定搜索引擎只收录指定的内容。 robots.txt(文件名必须小写)是一种...

共1页/1条