问
网友提问
发表于 2019/10/9 15:20:50
robots协议是什么?是不是设置了robots协议之后,蜘蛛就不抓取了?
网
Robots协议是搜索引擎蜘蛛抓取网站时,第一个访问的文件,因此robots协议可以告诉蜘蛛程序我的网站上哪些文件是可以被查看的,哪些文件是不希望被查看。当蜘蛛程序访问网站时,首先检查该网站根目录下是否存在robots协议,如果存在,搜索引擎蜘蛛会按照协议要求来对网站内容进行抓取;如果不存在,搜索蜘蛛的访问将不受限制。
来自手机端,UC浏览器,IOS,广东广州
网
robots协议限制搜索引擎机器人(Robots)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个搜索引擎都遵守的,2012年360搜索就曾出现过违反robots协议的案例。不过,目前看来,绝大多数的搜索引擎机器人都遵守robots.txt规则。
来自手机端,UC浏览器,安卓,广东深圳
997SEO顾问网,专注为企业提供SEO顾问咨询服务!(www.997seo.com)