1.1 蒙卡特洛方法

蒙特卡罗方法又叫做统计模拟方法，它使用随机数(或伪随机数)来解决计算问题。

比如上图，矩形的面积我们可以轻松得到，但是对于阴影部分的面积，我们积分是比较困难的。所以为了计算阴影部分的面积，我们可以在矩形上均匀地撒豆子，然后统计在阴影部分的豆子数占总的豆子数的比例，就可以估算出阴影部分的面积了。

1.2 蒙卡特洛学习

蒙特卡罗方法的特征是采样，通过多次采样，再计算这些样本中状态的状态值的平均值，由大数定律可以知道，当样本的数目非常大时，平均值非常接近期望值。

完整的状态序列(complete episode):指从某一个状态开始,个体与环境交互直到终止状态的奖励为止.完整的状态序列不要求起始状态一定是某一个特定的状态,但是要求个体最终进入环境认可的某一个终止状态.

蒙特卡洛强化学习有如下的特点:不依赖状态转移概率(即不依赖模型),直接从经历过的完整的状态序列中学习,使用的思想就是用平均收获值代替价值.理论上完整的状态序列越多,结果越准确.

价值=平均回报

其实从字面理解就是求均值的意思。就是状态S在每一个样本中收获的回报均值。

比如，现评估某状态S的价值函数。我们采样了两个经验轨迹，从一个经验轨迹里面得到的回报是5，然后下一个经验轨迹里面的得到的回报是7，我们可以从起始状态来评估此状态的价值函数为：

对于t时刻的状态S，未来折扣累积奖励为：

蒙特卡洛法利用经验轨迹的平均未来折扣累积奖励G作为状态值的期望。

2、时序差分算法

2.1 时序差分算法

时序差分方法又称TD方法，是强化学习中应用最为广泛的一种学习方法。它结合了蒙特卡罗方法与动态规划方法，首先它可以像蒙特卡罗方法那样直接从经验中进行学习而不需要知道完整的环境模型，同时它又可以像动态规划方法那样根据已学习到的价值函数的估计进行当前估计的更新（步步更新），而不需等待整个episode结束。