网
通过网站LOG日记可以查看网站的目录和页面抓取概况。
1、目录抓取,可以清晰的查看到光顾网站的蜘蛛爬行过哪些目录。要知道:有些目录是没有价值的,如一些图标目录、下载目录、留言目录等,还有后台目录、数据库,如果任由蜘蛛爬行,也是一种安全隐患。另外一方面,搜索引擎对于不同的站点都有着抓取配额,无用目录,更不要占用这样的配额,以免减少有效配额的抓取量。
2、页面抓取,可以准确的查看到蜘蛛爬行的每一个页面,比如:多重URL链接的抓取?垃圾页面的抓取?都是可以在其中展现出来的。甚至:某个页面抓取频率越高,通常代表这个页面更有价值。
如果你想优化的页面,抓取频率偏低,那么就要为其增加适当的曝光度,来达成你想要的结果。
来自手机端,UC浏览器,IOS,广东广州
网
可以看到你的状态码信息。状态码分为两种,一种是蜘蛛状态码,另一种是用户状态码。
通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。例如:404代表的是错误页,301、302代表的是重定向,还有一些:504、500、等状态码,值得说的是:除去200状态码,出现其他的状态码都是应当值得注意的,当然,如果只是个别几条则无需理会。但是如果数量一旦偏多,网站则100%出现问题了。
而用户状态码,则代表用户的访问情况,在这其中可以清晰的看到用户最为关注哪些页面。不要认为这是小事情,懂得营销的站长,知道投其所好!
来自手机端,UC浏览器,安卓,广东深圳