ML课刚学，发现更多是对线性代数的回顾。更进一步说，统计机器学习方法就是以高数、线代和概率论为基石构筑的“一栋大厦”。下面主要沿着老师ppt的思路讲讲对PCA方法的个人理解。

这里u1Tx(i)u_1^Tx^{(i)}u1T​x(i)是x(i)x^{(i)}x(i)在单位方向向量u1u_1u1​上的投影长度，实际上u1⋅x(i)∣u1∣=u1⋅x(i)=u1Tx(i)\frac{u_1\cdot x^{(i)}}{|u_1|}=u_1\cdot x^{(i)}=u_1^Tx^{(i)}∣u1​∣u1​⋅x(i)​=u1​⋅x(i)=u1T​x(i).

求取投影后数据的方差，并通过协方差矩阵的形式表达：
1N∑i=1N(u1Tx(i)−u1Tμ)2=1N∑i=1N((x(i))Tu1−μTu1)2=1N∑i=1N((x(i))Tu1−μTu1)T((x(i))Tu1−μTu1)=1N∑i=1Nu1T((x(i))T−μT)T((x(i))T−μT)u1=1N∑i=1Nu1T((x(i))−μ)((x(i))−μ)Tu1=u1T[1N∑i=1N((x(i))−μ)((x(i))−μ)T]u1=u1TSu1\frac{1}{N}\sum_{i=1}^{N}(u_1^Tx^{(i)}-u_1^T\mu)^2\\ =\frac{1}{N}\sum_{i=1}^{N}((x^{(i)})^Tu_1-\mu^Tu_1)^2\\ =\frac{1}{N}\sum_{i=1}^{N}((x^{(i)})^Tu_1-\mu^Tu_1)^T((x^{(i)})^Tu_1-\mu^Tu_1)\\ =\frac{1}{N}\sum_{i=1}^{N}u_1^T((x^{(i)})^T-\mu^T)^T((x^{(i)})^T-\mu^T)u_1\\ =\frac{1}{N}\sum_{i=1}^{N}u_1^T((x^{(i)})-\mu)((x^{(i)})-\mu)^Tu_1\\ =u_1^T[\frac{1}{N}\sum_{i=1}^{N}((x^{(i)})-\mu)((x^{(i)})-\mu)^T]u_1\\ =u_1^TSu_1N1​∑i=1N​(u1T​x(i)−u1T​μ)2=N1​∑i=1N​((x(i))Tu1​−μTu1​)2=N1​∑i=1N​((x(i))Tu1​−μTu1​)T((x(i))Tu1​−μTu1​)=N1​∑i=1N​u1T​((x(i))T−μT)T((x(i))T−μT)u1​=N1​∑i=1N​u1T​((x(i))−μ)((x(i))−μ)Tu1​=u1T​[N1​∑i=1N​((x(i))−μ)((x(i))−μ)T]u1​=u1T​Su1​
第一步变换，将点积表达为u1Tx(i)u_1^Tx^{(i)}u1T​x(i)和(x(i))Tu1(x^{(i)})^Tu_1(x(i))Tu1​是等价的。

优化目标为使投影数据的方差最大，根据最大方差理论：方差越大，信息量越大。以此为目标使投影保留的数据信息量最大，损失最小。使用拉格朗日乘子法求解：
这里要用到矩阵求导公式：∇XXTAX=(A+AT)X\nabla_{X} X^TAX=(A+A^T)X∇X​XTAX=(A+AT)X.

求导后我们发现极值处，λ1\lambda_1λ1​不就是协方差矩阵SSS的特征值，u1u_1u1​不就是对应的特征向量！左右同时乘上u1Tu_1^Tu1T​，得到u1TSu1=λ1u_1^TSu_1=\lambda_1u1T​Su1​=λ1​，等式左侧正是我们的优化目标，特征值λ1\lambda_1λ1​就是数据投影至向量u1u_1u1​上的方差。
因此，在算法步骤中，对SSS进行特征值分解，将特征值从大到小排序λ1,λ2,...λn\lambda_1,\lambda_2,...\lambda_nλ1​,λ2​,...λn​，对应的特征向量为u1,u2,...unu_1,u_2,...u_nu1​,u2​,...un​，取前KKK个作投影，将数据降至KKK维。

PCA算法步骤：

前面提到损失最小，如何量化说明这点？通过降维后的数据重构原数据x~(i)\widetilde{x}^{(i)}x(i)，看损失了多少，是不是最小。

∣∣x(i)−uuTx(i)∣∣2=(x(i)−uuTx(i))T(x(i)−uuTx(i))=((x(i))T−(x(i))TuuT)(x(i)−uuTx(i))=(x(i))Tx(i)−2(x(i))TuuTx(i)+(x(i))TuuTuuTx(i)=(x(i))Tx(i)−2(x(i))TuuTx(i)+(x(i))TuuTx(i)=(x(i))Tx(i)−(x(i))TuuTx(i)||x^{(i)}-uu^Tx^{(i)}||^2\\ =(x^{(i)}-uu^Tx^{(i)})^T(x^{(i)}-uu^Tx^{(i)})\\ =((x^{(i)})^T-(x^{(i)})^Tuu^T)(x^{(i)}-uu^Tx^{(i)})\\ =(x^{(i)})^Tx^{(i)}-2(x^{(i)})^Tuu^Tx^{(i)}+(x^{(i)})^Tuu^Tuu^Tx^{(i)}\\ =(x^{(i)})^Tx^{(i)}-2(x^{(i)})^Tuu^Tx^{(i)}+(x^{(i)})^Tuu^Tx^{(i)}\\ =(x^{(i)})^Tx^{(i)}-(x^{(i)})^Tuu^Tx^{(i)}∣∣x(i)−uuTx(i)∣∣2=(x(i)−uuTx(i))T(x(i)−uuTx(i))=((x(i))T−(x(i))TuuT)(x(i)−uuTx(i))=(x(i))Tx(i)−2(x(i))TuuTx(i)+(x(i))TuuTuuTx(i)=(x(i))Tx(i)−2(x(i))TuuTx(i)+(x(i))TuuTx(i)=(x(i))Tx(i)−(x(i))TuuTx(i)

而 min∑((x(i))Tx(i)−(x(i))TuuTx(i))⟺max∑((x(i))TuuTx(i))min\sum((x^{(i)})^Tx^{(i)}-(x^{(i)})^Tuu^Tx^{(i)})\\ \iff max\sum((x^{(i)})^Tuu^Tx^{(i)})min∑((x(i))Tx(i)−(x(i))TuuTx(i))⟺max∑((x(i))TuuTx(i))
进一步变换，利用uTx(i)=(x(i))Tuu^Tx^{(i)}=(x^{(i)})^TuuTx(i)=(x(i))Tu，
⟺max∑(((x(i))Tu)(uTx(i)))⟺max∑((uTx(i))((x(i))Tu))⟺max∑(uTx(i)(x(i))Tu)⟺maxuT∑(x(i)(x(i))T)u\iff max\sum(((x^{(i)})^Tu)(u^Tx^{(i)}))\\ \iff max\sum((u^Tx^{(i)})((x^{(i)})^Tu))\\ \iff max\sum(u^Tx^{(i)}(x^{(i)})^Tu)\\ \iff max\ u^T\sum(x^{(i)}(x^{(i)})^T)u⟺max∑(((x(i))Tu)(uTx(i)))⟺max∑((uTx(i))((x(i))Tu))⟺max∑(uTx(i)(x(i))Tu)⟺max uT∑(x(i)(x(i))T)u
最后发现这和前面方差最大的优化目标时相等价，印证了最大方差理论。