深圳 广州 中山

400-615-8050

当前位置:首页 » SEO优化 » 深度网分享如何利用百度蜘蛛referer找到报错页面入口

  导读:百度蜘蛛这个名词大家都是非常熟悉了,因为我们在看网站日志的时候就会着重去看百度蜘蛛每天来网站的抓取的时间段与次数,看百度蜘蛛每天爬取网站的次数与页面是否正常,然后再去做一些网站优化的调整,那今天深度网小编将为大家分享如何去利用百度蜘蛛referer找到报错页面入口呢?


  大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?


  什么是百度蜘蛛的referer

  百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:



  上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。


  对于站长的意义

  如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。


  深度网为您举个例子

  比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。



  从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。


  如果站点没有记录referer怎么办

  iis请在这里勾选“cs(Referer)”:



 

  小结,我们在给网站做SEO优化的时候多多少少都会碰到一些问题,但是广州营销型网站建设小编在这里不得不提醒大家的是有很多SEO问题并不是立即致命的,但如果我们没有及时解决这些问题。那网站流量就像蚂蚁啃大象一样一点一点啃掉了,所以说在碰到网站优化的问题的时候,一定要及时的去解决,才不会出现流量下降的情况,平常也要多积累一些系统性的知识,因为在关键时刻也是能发挥作用的。


  随着“互联网+”时代的到来,全网营销已经变得非常重要,你是否也想让你的企业在网上发展更快更强大呢?深圳市深度网专业营销型网站建设公司,从成立之初一直专注于营销型网站建设,营销型手机网站建设,不断为传统企业打造网络快速赚钱机器,为不少企业赢得了抢占网络市场的先机。您可以点击:点击咨询,也可以拨打深度网免费热线电话:400-615-8050

 

相关资讯

网站运营六大忌

网站运营六大忌

网站就是企业在互联网市场中的店面,也是产品与服务质量的间接性反映。假如一个企业的网站做的很粗糙,就间接性的反应给访问者一种不好印像,联想到企业形象,工作态度好不好,负不负责,产品质量好不好,从而对其产品或服务都不看中。造成了这类自我暗示以后,消费者也就没有继续了解的需求,那么网站运营有哪六大忌呢?

2020-03-17

相关案例

东莞圣得贝婴儿车营销型网站建设案例

东莞圣得贝婴儿车营销型网站建设案例

东莞圣得贝婴儿车营销型网站案例项目介绍圣得贝品牌创立于2007年,是家专注于便携式婴儿车研发、生产、销售于一体的品牌企业,是行业第一个将“便携”概念做为品牌定位的企业,也是第一个请明星代言和央视广告推广的童车品牌。

深圳市福兰德建材营销型网站建设案例

深圳市福兰德建材营销型网站建设案例

深圳市福兰德建材有限公司辖有弹性胶地板事业部、防撞安全扶手系列产品事业部及六家工厂,从事研发、生产PVC胶地板、橡胶地板、静电地板、防撞安全扶手系列产品;是一家专业从事医疗、教育、办公、工业专用胶地板、防撞扶手、防撞带的生产、设计、销售、施工、服务于一体的专业性公司。

深圳发智时代营销型网站建设案例

深圳发智时代营销型网站建设案例

深圳市冲冠生物科技有限公司是一家从事能量养发护发、白发脱发护理、发丝滋养修护、 头部理疗的全国连锁加盟机构,是一家集生物科技、头疗养发、培训教育、销售、服务为一体的现代化企业,也是第一个率先提出“能量养发”概念的卓越实践者。

填写您的联系方式免费获取品牌策划方案与建站报价

请正确填写您的联系方式,我们会在12小时内与您取得联系

高新企业

国家高新技术企业背景

手握28项技术专利

8年

8年专注企业网络营销实践

60+团队为你落地

137期

累计培训8000人次

理论扎实,效果显著

2600+

累计帮助2600+家企业打造

全网营销系统