一、机器学习

1.1 机器学习定义

计算机程序从经验E中学习，解决某一任务T，进行某一性能P，通过P测定在T上的表现因经验E而提高

eg：跳棋程序
E： 程序自身下的上万盘棋局
T： 下跳棋
P： 与新对手下跳棋时赢的概率

1.2 监督学习 supervised learning

1.2.1 监督学习定义

给算法一个数据集，其中包含了正确答案，算法的目的是给出更多的正确答案

如预测房价（回归问题）、肿瘤良性恶性分类（分类问题）

1.3 无监督学习 unsupervised learning

1.3.1 无监督学习定义

只给算法一个数据集，但是不给数据集的正确答案，由算法自行分类。

如聚类
1.谷歌新闻每天收集几十万条新闻，并按主题分好类
2.市场通过对用户进行分类，确定目标用户
3.鸡尾酒算法：两个麦克风分别离两个人不同距离，录制两段录音，将两个人的声音分离开来（只需一行代码就可实现，但实现的过程要花大量的时间）

1.3.2 聚类算法

二、单变量的线性回归 univariate linear regression——预测问题

2.1 单变量线性函数

假设函数 h_θ(x) = θ₀ + θ₁x
代价函数 平方误差函数或者平方误差代价函数

h(x(i))是预测值，也写做y帽，y(i)是实际值，两者取差
分母的2是为了后续求偏导更好计算。

目标： 最小化代价函数，即minimize J(θ0, θ1)

• 得到的代价函数的 三维图如下
  
• 将三维图平面化 等高线图 contour plot
  等高线的中心对应最小代价函数
  

2.2 梯度下降算法 Gradient Descent algorithm

算法思路

• 指定θ0 和 θ1的初始值
• 不断改变θ0和θ1的值，使J(θ0,θ1)不断减小
• 得到一个最小值或局部最小值时停止

梯度： 函数中某一点(x, y)的梯度代表函数在该点变化最快的方向
（选用不同的点开始可能达到另一个局部最小值）

梯度下降公式

• θ0和θ1应同步更新，否则如果先更新θ0，会使得θ1是根据更新后的θ0去更新的，与正确结果不相符

• 原理：偏导表示的是斜率，斜率在最低点左边为负，最低点右边为正。 在移动过程中，偏导值会不断变小，进而移动的步幅也不断变小，最后不断收敛直到到达最低点；在最低点处偏导值为0，不再移动
  

关于α的选择
如果α选择太小，会导致每次移动的步幅都很小，最终需要很多步才能最终收敛
如果α选择太大，会导致每次移动的步幅过大，可能会越过最小值，无法收敛甚至会发散

2.3 用于线性回归的梯度下降 ——Batch梯度下降

• 公式推导
  
• 梯度回归的局限性： 可能得到的是局部最优解
  线性回归的梯度下降的函数是凸函数，bowl shape，因此没有局部最优解，只有全局最优解
  

三、numpy的向量Vectors、矩阵Matrices

参考课后作业 C1_W2_Lab01_Python_Numpy_Vectorization_Soln
or
网上教程

四、多元线性回归 multiple linear regression

4.1多变量线性回归函数

• 多元特征表示

x⁽ⁱ⁾ 表示第 i 组样本
x_j⁽ⁱ⁾ 表示第 i 组样本中的第 j 个数据

• 特征参数
  
• 多元变量线性回归模型
  

4.2 多元梯度下降法 Gradient Descent With Multiple Variables

• 损失函数计算J
  
• 计算梯度
  
• 梯度下降实现

4.3 特征缩放 feature scaling

• 目的 ：让梯度下降运行的更快

• 问题：当特征范围相差太大时，会一直来回振荡，梯度下降效率低。如下例中，x1范围为0~2000， x2范围为 1~5
  

在课后作业 C1_W2_Lab03_Feature_Scaling_and_Learning_Rate_Soln
让中解释了为什么要采用特征缩放=》在梯度下降过程中对参数的更新可以使每个参数的进展相等！！！！！！！

4.3.1 Mean normalization 均值归一化

4.3.2 Z-score normalization Z-score归一化

• 最终缩放范围
  

课后作业 C1_W2_Lab03_Feature_Scaling_and_Learning_Rate_Soln
第一步发现从每个特征中去除平均值或平均数值。这就留下了以零为中心的特征。很难看到 "年龄 "特征的差异，但 "尺寸（平方英尺）"显然是在零附近。第二步是除以方差。这使得两个特征都以零为中心，尺度相似。

4.4 如何选择学习率

4.4.1 学习曲线 learning curve

通过学习曲线，可以找到何时可以开始训练我的模型，即多少次iterations后收敛

还有一种方法是：自动收敛测试 automatic convergence test

4.4.2 学习率的选择

• 问题：如果学习率太大或者太小的情况、J代码写错了
  
• 选取合适的α：
• …， 0.001，0.003，0.01，0.03，0.1，0.3，1，…
  以3为倍数找到一个最大值，以该最大值 或比该最大值略小的值作为α
  

4.5 特征和多项式回归polynomial regression

4.5.1 特征工程 feature engineering

通过转换、结合设计新的特征x

假设有两个特征：x1 是土地宽度，x2 是土地纵向深度，则有hθ(x) = θ0 + θ1x1 + θ2x2
由于房价实际与面积挂钩，所以可假设x = x1 * x2，则有hθ(x) = θ0 + θ1x

4.5.2 多项式回归

• 选用二次模型拟合
  曲线后半明显下降，不符合实际
  

• 选用三次模型拟合
  曲线符合实际，但由于次方的出现，要十分注意自变量范围的选取
  特征被重新标定，特征缩放，让它们彼此之间具有可比性
  

• 选用根号模型
  能充分拟合，且自变量范围可变曲度大
  

五、逻辑回归logistic regression——分类问题

5.1 线性回归对于分类问题的局限性

由于离群点的存在，线性回归不适用于分类问题。
如下图（阈值为0.5），由于最右离群点，再用线性回归与实际情况不拟合。

引入 逻辑回归（logistic regression） 算法，来解决这个问题。

• 逻辑回归模型
  
  sigmoid function === logistic function

5.2 决策边界 decision boundary

• 推导 什么情况下是分界线
  
• eg1
  
• eg2
  
• eg3
  

5.3 代价函数 cost function

python中科学计数法E

英文积累

• with respect to 关于
• mintage 年份
• to recap 回顾一下
• peek to peek 峰间值
• Out of the box 开箱即用
• penalize 惩罚
• mapped against 映射
• concatenate 连接
• scenario 局面
• training example 训练示例
• derivative 导数 derivation 推导
• 1 over m m分之一
• sum of i equals 1 through m i从1到m的总和
• calculus 微积分
• convergence 收敛 diverge. 发散
• local minimum 局部最小值 global
• convex function 凸函数，碗型，一个局部最小值
• intuitive name 直观的名称
• subset 子集
• automate 使自动化
• plotting routines 绘图例程、程序
• Convention 惯例
• embedded comments 嵌入的注释
• quiver plot 箭头图 查看两个参数的梯度的方法
• magnitude 大小 幅度 规模
• scaled 比例的 scale 尺度、缩放 scale well to 适用于可用于
• primarily for 主要用于
• A versus B A 与B的关系
• measure of 衡量
• in line with 符合 一致
• a contour plot 等高线图
• steady (monotonic) progress 稳步（单调）前进
• Zooming in, 放大
• oscillates from positive to negative 在正数和符数之间摆动
• delve into 研读
• subscript sub 下标 superscript 上标
• parentheses 括号
• algebra 代数 linear algebra 线性代数
• dot products 点积 the product of 积
• numerical linear algebra library 数值线性代数库 numpy
• vertorization 矢量化
• square bracket 方括号 [ ]
• period 句点 dot 点 comma 逗号
• fairly seamlessly 相当完美 无缝的
• specify the shape 指定形状
• a mainstay of 主要内容 ，中流砥柱 main stay
• aligning 对齐
• back-end 后端的
• display precision 显示精度
• notionally 在概念上
• 1-D 一维的
• roughly 大致的
• Going forward 往后
• scatter plot 散点图
• standard deviation 标准差 deviation 偏差
• normal distribution 正态分布
• as a rule of thumb 根据经验
• aim for about -1 争取约为 -1
• flatten out 拉平了 变平了
• trade-of 权衡
• threefold 3 倍
• overshooting 过头了
• oscillating 摆动 震荡
• magnitude 大小
• lot 地段 一小块土地 loft 公寓
• a quadratic function 二次函数 cubic function 三次函数
• practitioner 从业者
• all but 几乎差不多
• interchangebly 互换的
• normalize 归一化
• intercept 截距
• coefficient 系数
• a close form 接近
• semicolon 分号 ；