思维导图

基础知识

数学期望

定义
数学期望其实很好理解，就是均值，当然这里并不是直接计算样本的均值，而是考虑到样本对应的概率。我们分离散和连续两类来讨论数学期望。
离散型
对随机变量X的分布律为

若级数

绝对收敛，则称该级数为X的数学期望，记为E(X)。即

连续型
当我们把上面的求和换成积分就得到了连续型的数学期望

函数期望的两个定理

设Y是随机变量X的函数，Y=g(x)(g是连续函数)
1.如果X是离散型，其分布律为P{X=xk}=pk，k=1，2，…，若对应的无穷级数绝对收敛，则有

2.如果X是连续型，其概率密度为f(X),若对应积分绝对收敛，则

根据上面两个定理我们可以轻松地解决函数类型的数学期望问题。
性质
关于数学期望有以下4个非常重要的性质：
1.C是常数，E（C）=C
2.X是一个随机变量，C是常数，则

3.X,Y是两个随机变量，则
该性质可以推广到多个随机变量加和的情况
4.X,Y相互独立，则

和3类似，也可以推广到多个随机变量乘积的情况。

方差

方差我们可以只管地理解为表示数据的偏离程度，或者说数据的集中程度。
定义
设X是一个随机变量，若E{[X-E(X)]^2}存在，则称该式为X的方差，记为D(X)或Var(X),即

它的开平方，我们记为

称为均方差或标准差。
离散型

连续型

除了用定义，我们还可以使用下列式子来计算方差：

变量标准化

X*就是X的标准化变量。
四个重要性质
在随机变量的方差存在的情况下，有如下性质：
1.C是常数，D©=0
2.X是随机变量，C是常数

3.
若X、Y相互独立，则有
一样，也是可以推广多个变量。
4.D(X)=0的充要条件是X以概率1取常数E(X),即

切比雪夫不等式

设 X 的 E(X) = μ， D(X) = σ^2

协方差以及相关系数

对于二维随机变量，我们除了可以讨论它的期望和方差，我们还可以讨论这两个随机变量间的关系。
协方差和相关系数其实我们在数据分析的时候，经常会使用到的两个数据性质。
定义
协方差
记为Cov(X,Y)

相关系数
根据定义，可以容易知道，
对于任意两个随机变量，存在如下等式
我们将协方差的式子展开，其实就可以得到我们经常用来计算的式子
协方差性质
1.数乘性质
2.分配
3.相关系数的两个定理
①
②相关系数为1的充要条件是存在常数a，b使得

不相关与独立
这两个是一个集合的包含问题，独立一定不相关，不相关却不一定独立。
对于不相关，我们可以用相关系数=0，或者协方差为0来证明。
对于变量独立，我们则需要按照定义来证明。

矩、协方差矩阵

设X（X,Y）是二维随机变量，有如下定义
定义
矩
1.若存在，则称其为X的k阶原点矩，简称k阶矩。
2.若存在，称其为X的k阶中心距。
3.若
存在，称其为X和Y的k+l阶混合矩
4.若

存在，称其为X和Y的k+l阶混合中心距
显然，原点矩其实就是期望，中心矩其实就是方差，协方差就是混合中心矩。
协方差矩阵
我们对二维随机变量（X1,X2）有四个二阶中心距（假设都存在），记为下式
排成矩阵就是

该矩阵就是（X1,X2）的协方差矩阵。协方差矩阵也是一个对称阵。
四条重要性质
关于n维正态随机变量有如下性质：
1.每一个分量Xi，都是正态随机变量，反之，则可以证明n维正态随机变量。
2.服从n维正态分布的充要条件是
服从一维正态分布。
3.设Yi是Xi的线性函数，则对应的Yi组成的n维随机变量也服从n维正态分布。该性质又称为线性变换不变性。
4.若n维随机变量服从n维正态分布，则随机变量相互独立和随机变量两两不相关等价。

手写笔记

课堂习题