首页 博文

Google Analytics与百度统计的原理

2015-12-26 15:55:12 网络 A+

Google Analytics与百度统计的统计数据都是有差异的,而且差异非常大,其根本原因在于数据统计的原理和机制是不同的。下面分享一下两位博友李鑫和赵高欣对Google Analytics与百度统计做出的原理分析。


百度统计的工作原理分析

百度统计提供的JS,实质上是往页面中引入hm.baidu.com/h.js的这段代码,该代码的内容会根据后面的参数有所不同,h.js?后面的参数就是你在百度统计里的id。

获取该h.js代码的同时,百度统计会往你的浏览器写入一个名字为“HMACCOUNT”的cookie,该cookie的过期时间为2038年,所以只要你没有清空浏览器cookie,基本就永不过期。

h.js被下载后,便执行其脚本获取一些浏览器相关信息和访问来源,获取的信息包括屏幕尺寸、颜色深度、flash版本、用户语言等。

从js代码中可以得到,所有参数包括这些:”cc,cf,ci,ck,cl,cm,cp,cw,ds,ep,et,fl,ja,ln,lo,lt,nv,rnd,sb,se,si,st,su,sw,sse,v”。这些参数的意义大致如下:

cc: 不知道,一般为1
cf:url参数hmsr的值
ci:url参数hmci的值
ck:是否支持cookie 1:0
cl:颜色深度 如 “32-bit”
cm:url参数hmmd的值
cp:url参数hmpl的值
cw:url参数hmkw的值
ds:屏幕尺寸,如 ’1024×768′
ep:初始值为’0′,时间变量,反映页面停留时间,格式大概是:现在时间-载入时间+“,”+另一个很小的时间值
et:初始值为’0′,如果ep时间变量不是0的话,它会变成其他
fl:flash版本
ja:java支持 1:0
ln:语言 zh-cn
lo: 不知道,一般为0
lt:日期 time.time(),如“1327847756”,在首次请求没有
nv: 不知道,一般为1或者0
rnd:十位随机数字
sb:如果是360se浏览器该值等于‘17’
se: 和搜索引擎相关
si:统计代码id
st:
su:上一页document.referrer
sw: 不知道,估计和搜索引擎有关,一般为空
sse:不知道,估计和搜索引擎有关,一般为空
v:统计代码的版本 ,目前该值为“1.0.17”

当这些参数都设置完毕了(有些参数并没有赋值),筛选出已经赋值了的参数,并作为hm.baidu.com/hm.gif的参数拼凑出一个url,如:http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=0&et=0&fl=11.0&ja=1&ln=zh-cn 。然后请求该图片。

百度统计服务端,通过接收到这个请求,并从这个图片的网址附带的参数获取相关信息,记录访客访问记录;当页面被用户关闭的时候,同样会触发一次请求hm.gif的过程,但这个过程不是所有浏览器和所有关闭动作都支持。

使用使用Wireshark(一款网络抓包工具)测试可以发现,浏览器总共向服务器端发送了4次请求:

http://hm.baidu.com/h.js?3266e9d3684e7a1307dc7c4b4a64b0ae
http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=0&et=0&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171561&nv=1&rnd=2889921&si=3266e9d3684e7a1307dc7c4b4a64b0ae&st=3&su=http%3A%2F%2Fwww.zhanghangbo.com%2F&v=1.0.17
http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=7289%2C115&et=3&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171561&nv=1&rnd=1444115283&si=3266e9d3684e7a1307dc7c4b4a64b0ae&st=3&su=http%3A%2F%2Fwww.zhanghangbo.com%2F&v=1.0.17
http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=212486%2C4614&et=3&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171541&nv=1&rnd=1067394506&si=0f9e2caa14d6d0a51371b168d182314a&st=1&v=1.0.17

可以发现,浏览器总共向服务器端发送了4次请求:

1、请求一段js脚本。

2、加载完毕时候出发一次请求,并传递参数

3、退出页面时候,发出一次请求,并传递参数,与上面对比,发现ep参数有变化。


百度统计是基于cookie的,当请求js脚本的时候,会在你电脑里保存一个永久cookie,该cookie作为你的用户标识。同时发现,但退出时候参 数ep从最开始的0变为了“7289%2C115”,转义后是“7289,115”这是两个毫秒单位,即7.2秒和0.1秒的意思。同时前两次请求 hm.gif的时候lt参数(时间,javascript:(new Date).getTime())是不变的。rnd随机数每次都变。


下面使用Python模拟请求代码:

import urllib2
import urllib 
import random
import math
import urlparse
import time
import cookielib

########################################################################
class Baidu:
    """"""
    Referer='http://www.shalisoft.com'
    TargetPage='/www.shalisoft.com'
    BaiduID=''
    Hjs="http://hm.baidu.com/h.js?"
    Hgif="http://hm.baidu.com/hm.gif?"
    UserAgent='Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)' #IE9
    MyData={'cc':'1','ck':'1','cl':'32-bit','ds':'1024x768','et':'0','ep':'0','fl':'11.0','ja':'1','ln':'zh-cn','lo':'0','nv':'1','st':'3','v':'1.0.17'}
    #----------------------------------------------------------------------
    def __init__(self,baiduID,targetPage=None,refererPage=None):
        """Constructor"""
        self.TargetPage=targetPage or  self.TargetPage
        self.Referer=refererPage or self.Referer
        self.BaiduID=baiduID
        self.MyData['si']=self.BaiduID
        self.MyData['su']=urllib.quote(self.Referer)
        pass
    def run(self,timeout=5):
        cj=cookielib.CookieJar()
        opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))  
        opener.addheaders=[("Referer",self.TargetPage),("User-Agent",self.UserAgent)]
        try:
            response=opener.open(self.Hjs+self.BaiduID).info()
            self.MyData['rnd']=int(random.random()*2147483647 )
            self.MyData['lt']=int(time.time())
            fullurl=self.Hgif+urllib.urlencode(self.MyData)
            response2=opener.open(fullurl,timeout=timeout).info()
            self.MyData['rnd']=int(random.random()*2147483647 )
            self.MyData['et']='3'
            self.MyData['ep']='2000,100'
            response3=opener.open(self.Hgif+urllib.urlencode(self.MyData),timeout=timeout).info()
            pass
        except urllib2.HTTPError ,ex:
            print ex.code 
            pass
        except urllib2.URLError,ex:
            print ex.reason
            pass
        pass
    
    
    
if  __name__ =="__main__":
    a=Baidu('百度统计id','http://www.shalisoft.com/','www.shalisoft.com')
    a.run()

代码中,实际我没有模拟4次请求,发出3次就可以在百度统计的最新访客里看到记录,发出前两次的话,在百度统计里可以看到有访问记录,但是不显示来源和访问页面。用法很简单,只要实例化Baidu这个类,并给他传递3个参数,第一个为百度统计给你的统计id,第二个是被访问页面的url,这个url可以是不存在的,因为实际百度统计并没有验证页面的存在,第3个就是访问该页面的来源页面,这样就可以在百度统计的后台看到来自‘www.lixin.com.cn’的用户访问了test4这个页面。


Google Analytics的工作原理

当用户访问了一个包含Google Analytics统计代码的页面,这段代码会被用户的浏览器执行,而这段代码的作用就是用来收集这位访客的信息,比如浏览页面的URL、浏览器类型、操作系统、系统语言、屏幕分辨率等。

GA统计代码随后将这些访客信息存储到Cookie中,Cookie是一段短小的文本,存放于本地,与访问的网站相关联,它被用来判断一个用户是初次访问还是多次访问,页面的推荐来源和随后的页面浏览信息等。

最后,所有的被收集到的信息会被发送到Google Analytics的数据服务器上。这个过程比较巧妙,我们知道服务器的日志文件会记录每一次的文件请求信息,而Google Analytics收集数据的方式便是通过向服务器请求一个透明的1×1的GIF图片文件,这个文件请求以及请求时间会在服务器日志中被记录,而文件请求 信息包含了GA统计代码收集的数据和Cookie信息,这样,每当这个GIF图片收到请求申请时,访客的访问信息就会被Google Analytics数据服务器收集。

不过Google Analytics只是发送一张gif请求,很多时候会发送多张gif请求。假如有一个gif图片无法统计,那么GA会发送其他gif请求,


总结:

网站分析大师Avinash曾经说过只要有数据有90%的准确度,那么就可以及时采取行动了。重要的是能够看出趋势,进而采取行动,然后进行测试,不断地优化。


上一篇: 使用new Image()打点时的一个注意事项
下一篇: ASP.NET 获取上个月当前月的1号和月尾
相关文章