第Ⅰ部分数据分析基础

第1章概率与统计基础

第2章经济时间序列的季节调整、分解与平滑





第1章概率与统计基础

本章回顾一些概率知识和基本的统计概念。大多数结论只叙述而不证明，读者可以很容易找到相关参考书籍来学习和理解这些知识。这些概念极为重要，是继续学习的基础、通往其他部分不可或缺的钥匙。

1.1随 机 变 量

随机变量(random variable)是取值具有随机性的变量。随机变量按其取值情况可以分为离散型和连续型两种类型，离散型随机变量只能取有限或可数的多个数值，连续型随机变量的取值充满一个或若干有限或无限区间。


1.1.1概率分布


1. 概率分布的含义


随机变量X取各个值xi的概率称为X的概率分布。对一个离散型随机变量X，可以给出如下的概率分布： 



P(X=xi)=pi(i=1，2，3，…)
（1.1.1）

例如，X代表宏观经济所处的状态，假定只有经济增长率较高的繁荣和增长率较低的衰退两种状态，



图1.1离散型概率分布

（经济状态概率分布：   p=0.8，q=0.2)


X相应地取1和2两个值（图1.1），并假定概率分别为p，q，即

P(X=1)=p，P(X=2)=q


由概率的性质可知，概率分布满足以下两个条件：   

pi ≥0(i=1，2，…)

∑∞
i=1pi =1（1.1.2）


可以知道，对于上面例子中的p和q，存在约束：   p≥0，q≥0，p+q = 1。

2. 累积分布函数
对于随机变量X（无论连续还是离散）可以确定实值函数F（x），称为累积分布函数（cumulative distribution function，CDF），定义如下：   

F(x)=P(X≤x)
（1.1.3）


表示随机变量X小于或等于x的概率。显然，F(-∞) = 0，F(+∞)= 1。对于离散随机变量，累积分布函数的形式为

F(x)=∑xi ≤xpi 
（1.1.4）


3. 连续型随机变量的分布函数及概率密度函数


对于连续型随机变量，取任何特定数值的概率都是0，因此度量该随机变量在某一特定范围或区间内的概率才有实际意义。设F(x)是随机变量X的分布函数，如果对任意实数x，存在非负函数f(x) ≥ 0，使

第Ⅰ部分数据分析基础
第1章概率与统计基础

F(x)=∫x-∞ f(t)dt
（1.1.5）

就称f(x)为X的概率密度函数(PDF)，且f(x)具有性质：   

f(x)≥0，∫∞-∞ f(x)dx=1（1.1.6）

P(a<x<b)=∫ba f(x)dx（1.1.7）

令X代表身高，用厘米来度量，那么人的身高在某一区间内（比如160～170cm）的概率，由这两个值之间的密度函数之下的面积决定（如图1.2）。



图1.2连续型（身高）概率分布





例1.1离散随机变量的CDF

抛币4次，求随机变量（正面朝上的次数）的概率密度函数和累积分布函数（图1.3、图1.4）。




正面朝上的次数

（X = xi ）


PDF
CDF

X值
pi
X值
F(x)


0

0≤X<1

1/16

X≤0

1/16
1

1≤X<2

4/16

X≤1

5/16
2

2≤X<3

6/16

X≤2

11/16
3

3≤X<4

4/16

X≤3

15/16
4

4≤X<5

1/16

X≤4

1







图1.3离散型随机变量的累积分布函数







图1.4连续型随机变量的累积分布函数




1.1.2随机变量的数字特征

有多种数值指标分别从不同角度描述随机变量分布的特征，其中最重要的是数学期望（也称均值）和方差。期望是随机变量的平均值，它度量了集中趋势； 方差是随机变量偏离期望的离散程度的度量。

1. 数学期望

假设我们研究一个离散型随机变量X，设x1，x2，…，xN为该变量的N个取值，则均值或数学期望值是所有可能结果的加权平均值，权重为各个可能结果的发生概率，用μX代表X的数学期望，定义为

μX =E(X)=p1 x1+p2 x2+…+pN xN =∑N
i=1pi xi 
（1.1.8）

式中：  pi为Xi发生的概率，∑pi = 1。

如果X是连续型随机变量，则数学期望为


μX =E(X)=∫∞-∞ xf(x)dx（1.1.9）
数学期望有一个重要的性质：  
E(a+bX)=a+bE(X)（1.1.10）
式中：  a，b都是常数。

除了期望之外，用来描述随机变量集中趋势的还有中位数。中位数是满足P(X≤m) ≥ 0.5和P(X ≥m) ≤ 0.5的m的值。粗略地说，中位数比均值更接近分布的中点，它不受极端值影响。


2. 方差

对于经济变量，我们经常关心其波动性，尤其在证券市场中人们十分关心投资的风险大小，这可以通过变量的方差来描述。随机变量的方差刻画了随机变量偏离均值的程度，将方差记为σ2X，对于离散的情形，方差为

σ2X=var(X)=E(X-E(X))2 =∑N
i=1pi (xi-μX)2 （1.1.11）

对于连续情形，方差为
σ2X=var(X)=∫∞-∞ (x-μX)2 f(x)dx（1.1.12）

方差不能为负值，如果X偏离均值幅度很大，则方差就较大；  相反，则方差较小；  如果X所有的值都等于E(X)，则方差为0。这意味着随机变量是常数。

方差有一个重要的性质：  
var(a+bX)=b2 var(X)（1.1.13）

经常用到的标准差σX 是方差的正平方根。如果要我们猜测对一个随机变量进行一次抽样的结果，均值可能是不错的选择。但如果要给出一个区间，就可以根据希望正确的程度确定置信水平，在均值两侧延伸相应倍数的标准差产生一个区间（置信区间）。就是说虽然方差是衡量波动程度的指标，但与均值进行加减运算只能是标准差，因为标准差可以被认为和μ有相同的度量单位。对任意随机变量X和任意正常数k，切比雪夫不等式表明：  
P(μ-kσ≤X≤μ+kσ)≥1-1
k2 （1.1.14）


3. 偏度和峰度

除了最为常用的描述随机变量X集中趋势的期望和中位数、描述偏离均值程度的方差外，偏度S（skewness）和峰度K（kurtosis）也是描述随机变量X的数字特征。偏度S衡量了X围绕其均值的非对称性，峰度K度量凸起或平坦程度。

在定义偏度S和峰度K之前，首先需要了解X的高阶矩和高阶中心矩。一般r阶矩和r阶中心矩分别定义为
E(X)r和E(X-μX)r 
随机变量X的一阶矩即是数学期望值，方差是X的二阶中心矩，三阶中心矩表示为
 E(X-μX)3 

四阶中心矩表示为
E(X-μX)4 

偏度S用三阶中心矩除以标准差的立方来计算
S=E(X-μX)3 
σ3X（1.1.15）

如果概率密度函数是对称的，S值为0；   正的S值意味着序列分布有长的右拖尾（右偏）；   负的S值意味着序列分布有长的左拖尾（左偏）。

峰度K定义为
K=E(X-μX)4 
σ4X（1.1.16）

正态分布是最常见到的分布。对于正态分布，K=3，S = 0。如果K值大于3，分布的凸起程度大于标准正态分布；   如果K值小于3，分布相对于标准正态分布是平坦的。因此，了解标准正态分布峰度K和偏度S有助于比较其他的概率分布函数。

1.1.3随机变量的联合分布

对于两个或两个以上的随机变量，规律性由他们的联合分布所决定。联合分布有协方差和相关系数等重要数字特征。




例1.2两个离散随机变量的联合分布

X表示家庭收入，Y表示是否受过大学教育，1、0分别表示受过和没有受过大学教育，联合分布如下：  








结果
概率f(x，y)
结果
概率f(x，y)
X = 600 元，Y = 1
0
X = 600 元，Y = 0
1/4
X = 1500元，Y = 1
1/8
X = 1500元，Y = 0
1/8
X = 3000元，Y = 1
1/3
X = 3000元，Y = 0
1/6





对于两个离散的随机变量X，Y，它们的联合分布为
P(X=xi，Y=yj)=pij(i，j=1，2，…)（1.1.17）


如例1.2中：  
P(X=600，Y=0)=1/4

对于连续的随机变量X，Y，它们的概率分布则由联合概率密度f (x，y)决定：  

P(a<X<b，c<Y<d)=∫ba dx∫dc f(x，y)dy（1.1.18）

1. 边际概率

与联合概率函数f (x，y) 相对应，fX(x)，fY(y) 都称为边际概率函数。如例1.2中，fX(600)应该是所有家庭收入为600元而无论是否受过大学教育的概率，即：  fX(600)=P (X = 600) = P (X = 600，Y = 0)+P (X = 600，Y = 1) = 1/4。因此，从联合分布得到某一个变量（比如X）的边际密度，只需要将其对应的联合概率累加（离散）或积分（连续）起来：  
fX (x)
=P(X=xi)=∑∞
j=1pij Y是离散的（1.1.19）


fX (x)
=∫∞-∞ f(x，y)dyY是连续的（1.1.20）

在计量经济和时间序列分析中经常假定两个随机变量之间独立且同分布（记为i.i.d.），当且仅当联合密度是边际密度的乘积时，两个随机变量才是独立的，即：  
f(x，y)=fX (x)fY (y)（1.1.21）

注意，这要求对所有取值都成立。对于例1.2，显然式(1.1.21)是不成立的，如f (600，0)=1/4，而fX (600) =1/4，fY (0) =13/24。因此，收入和是否受过大学教育这两个变量是不独立的。

2. 条件概率函数

在例1.2中，如果我们想要知道在受过大学教育的人中，收入为3000元的比例，就是要得到在给定Y = 1的条件下，X = 3000的概率为多少，这就归结为求条件概率的问题。这可以由下面的公式计算：  
P(X=xi Y=yj )=P(X=xi，Y=yj)
P(Y=yj)离散情形（1.1.22）

fXY (x|y)=f(x，y)
fY (y)连续情形（1.1.23）

例如：  
P(X=3000|Y=1)=P(X=3000，Y=1)
PY (Y=1)=1/3
1/3+1/8=8
11≈0.727
这说明，在受过大学教育的条件下，X取3000的概率约为0.727。如果没有这样的条件（无条件概率或边际概率），X取3000的概率为0.5（=1/3+1/6）。这也说明X，Y是不独立的变量，Y的取值影响到X取值的概率分布。由式(1.1.21)可知，独立的两个随机变量的条件概率函数应该与无条件概率函数相同。对于连续型随机变量，也有类似性质，只要将概率函数换成概率密度即可。


3. 协方差和相关系数

两个随机变量X、Y的协方差定义为
cov(X，Y)=E［(X-μX)(Y-μY)］（1.1.24）
式中：  μX，μY分别表示X，Y的期望值。

协方差度量了两个变量的同时波动。如果两个变量同方向变动（比如一个变量增加，另一个变量也增加），则协方差为正；   如果两个变量反方向变动（比如一个变量增加，另一个变量却减少），则协方差为负；   如果两个随机变量是独立的，则协方差为0。


如果两个变量不是独立的，即协方差不是0，人们自然希望知道它们之间的相关程度有多大，相关系数刻画了这种特征。相关系数ρ定义如下：  
ρ=cov(X，Y)
σX σY （1.1.25）
式中：  σX，σY 分别为X，Y的标准差。可以看出两个变量的相关系数等于它们的协方差与各自标准差之比。相关系数是两个随机变量线性相关程度的数字特征，其符号与协方差符号相同。但相关系数经过标准化处理，已经没有量纲，其值在-1到1之间。如果是0，表明两变量不相关。


1.2从总体到样本


1.2.1基本统计量


统计中将所研究的对象称为总体(population)。总体的某种数量指标X，作为随机变量称为总体随机变量，通常简称为总体X，如中国人的年龄等。要想知道总体全部数据常常是困难的，甚至是做不到的。一般只能抽取一部分数据，x1，x2，…，xN，即所谓的样本（sample）。统计学的基本任务就是依据样本数据来推断总体，包括推断总体的分布及其数字特征等。

1. 样本均值（mean）

样本的算术平均值，定义为
=1
N∑N
i=1xi （1.2.1）

它是总体均值E(X) 的一个好的估计量。在统计中，有时还使用加权平均，加权平均是各个数据依照相对重要程度乘以相应的权重后再平均。例如，要计算一揽子商品的平均价格，就需要用每种商品的数量作为权重，价格指数的计算就是利用加权平均。除了算术平均，还有一种很重要的几何平均，即各个数据连乘积的N次方根，N是样本观测值的个数。当根据一个国家一段时期内各期经济增长率数据，要得出这一段时期的平均增长率时，一定要用几何平均来计算。另外，样本中位数（median）是一个关于中心位置的度量，即样本按从小到大排列后的中间值。对于奇数个样本来说，中位数是位于中间的数据点；   对于偶数个样本，中位数是两个中间数据的平均值。

2. 样本标准差（standard deviation）

衡量了样本值对样本均值的偏离程度，记为sx，其计算公式如下：  
sx =1
N-1∑N
i=1xi-2 （1.2.2）

式中：  为样本均值。在式（1.2.2）中除以N-1而不是除以N，是因为这样得到的样本方差估计量才是无偏估计量。标准差的平方即样本方差s2x是样本二阶中心矩。类似地，

样本三阶矩为
1
N-1∑N
i=1(xi-)3 （1.2.3）

样本四阶矩定义为
1
N-1∑N
i=1(xi-)4 （1.2.4）

由式(1.2.2)，式(1.2.3) 和式(1.2.4)，可以类似总体偏度和峰度，计算样本偏度和峰度。


例1.3基本统计量

表1.1列出了我国1992—2002年的实际GDP增长率，求出我国这12年的平均增长率、标准差、偏度和峰度。（单位：  %）


表1.1GDP增长率（可比价格）





1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003
14.2

13.5

12.6

10.5

9.6

8.8

7.8

7.1

8.0

7.5

8.0

9.1


数据来源：  中国统计年鉴，北京：  中国统计出版社，2004。




算术均值：  9.725几何平均值：  9.467标准差：  2.45

偏度：  0.78峰度：  2.15


3. 样本协方差（covariance）

记为cxy，计算公式如下：  
cxy =1
N-1∑N
i=1(xi-)(yi-)（1.2.5）

式中：  y1，y2，…，yN是随机变量Y的N个样本。进而可以计算样本相关系数：  
r=∑N
i=1(xi-)(yi-)
∑N
i=1(xi-)2 ∑N
i=1(yi-)2 =cxy 
sx sy （1.2.6）

在进行经济分析时，经常考察两个变量之间的相关系数。如果相关系数较大，比如正相关接近1，则说明这两个变量的波动性十分相似，很多个样本点上有这样的关系：  一个变量大于其均值时，另一个变量也大于均值。波动的相似性为进一步建立模型等提供了依据。


相关系数计算的是两组样本的同期相关程度。在分析经济周期问题的时候，经常区分先行、一致和滞后经济指标，用来表明经济指标与整个经济景气的同步性。这时，往往需要计算交叉相关（cross correlation）系数。序列X与Y的交叉相关系数的计算公式如下：  
r(l)=cxy (l)
sx sy (l=0，±1，±2，…)（1.2.7）
式中：  

cxy (l)=1
N∑N-l
i=1xi-yi+l-(l=0，1，2，3，…)

1
N∑N+l
i=1yi-xi-l-(l=0，-1，-2，…)

（1.2.8）