robots协议是什么? 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被爬虫访问的部分,这样,该网站的部分或全部内容就可以不被收录了,或指定搜索引擎只...

共1页/1条