问
网站用asp程序做了伪静态,但是收录的页面有少量的动态页面,为什么会这样?是不是需要做一个robots 禁止蜘蛛爬动态页面呢?
吴
可能是你的网站地图里面还存在动态的路径,建议你检查一下你的网站地图。如果你只希望蜘蛛爬取的都是静态页面,那么就禁止抓取所有动态页面吧。
汪
不是说你做了伪静态搜索引擎就不会收录你的动态页面了,支持伪静态的CMS,基本上每个页面都存在两个左右的URL可以访问,而且因为开发团队技术的原因和网站操作团队的流程,都有可能在这两者之间形成重复。所以,选择一个成熟的CMS就显得很重要,开启伪静态,全站都会开启的很彻底,不会出现98%的伪静态,2%的非静态URL,而这2%的非静态URL,就会造成动态URL收录。操作团队的流程控制也很重要,如果之前是用的动态URL,那么在切换成静态URL后,在一段时间内动态URL的收录会持续。根据我以前的操作经验,这个切换过程差不多需要一个月左右的时间。而且,如果之前是动态URL操作,那么就没有办法避免外链是动态URL形式的。
另外,设置Robots来禁爬是有必要的。URL的标准化一定要做到位,一个页面只对应一个URL,哪怕CMS程序没法做到,我们自己建设内链外链的时候也必须做到。
997SEO顾问网,专注为企业提供SEO顾问咨询服务!(www.997seo.com)