深度网分享如何利用百度蜘蛛referer找到报错页面入口

　　导读：百度蜘蛛这个名词大家都是非常熟悉了，因为我们在看网站日志的时候就会着重去看百度蜘蛛每天来网站的抓取的时间段与次数，看百度蜘蛛每天爬取网站的次数与页面是否正常，然后再去做一些网站优化的调整，那今天深度网小编将为大家分享如何去利用百度蜘蛛referer找到报错页面入口呢?

　　大家应该都知道百度已经全站https并取消referer关键词显示了，那么“百度蜘蛛referer”又是什么?有什么妙用吗?

　　什么是百度蜘蛛的referer

　　百度蜘蛛的referer，是指当百度蜘蛛抓取某一个URL的时候，在HTTP头中带的Referer字段。请注意，这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求，百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo，会发起这样的请求：

　　上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时，又抓取了网页中的：img、js和css才会带上referer字段。这部分额外的抓取量，应该不会占用百度分配的抓取配额，属于“买1送1”。

　　对于站长的意义

　　如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx)，但是一直找不到入口在哪，也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

　　深度网为您举个例子

　　比如我们的SEO日志分析系统中可以看到，符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

　　从发现问题至今过了1个月，查遍整个网站我也没找到入口。今天偶然仔细查了一下日志，想起了百度蜘蛛的referer，马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新，图片的URL全部更改了，但这套页面并没有跟着更新。

　　如果站点没有记录referer怎么办

　　iis请在这里勾选“cs(Referer)”：

　　小结，我们在给网站做SEO优化的时候多多少少都会碰到一些问题，但是广州营销型网站建设小编在这里不得不提醒大家的是有很多SEO问题并不是立即致命的，但如果我们没有及时解决这些问题。那网站流量就像蚂蚁啃大象一样一点一点啃掉了，所以说在碰到网站优化的问题的时候，一定要及时的去解决，才不会出现流量下降的情况，平常也要多积累一些系统性的知识，因为在关键时刻也是能发挥作用的。

　　随着“互联网+”时代的到来，全网营销已经变得非常重要，你是否也想让你的企业在网上发展更快更强大呢?深圳市深度网专业营销型网站建设公司，从成立之初一直专注于营销型网站建设，营销型手机网站建设，不断为传统企业打造网络快速赚钱机器，为不少企业赢得了抢占网络市场的先机。您可以点击：，也可以拨打深度网免费热线电话：400-615-8050。