DQN笔记：高估问题 & target network & Double DQN

Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。
这个缺陷导致 DQN 的表现很差。
高估问题并不是 DQN 本身的缺陷，而是训练 DQN 用的 Q 学习算法的缺陷。

1 自举（bootstrapping）导致的偏差传播

1.1 DQN参数更新（回顾）

Q-learning 算法每次从经验回放数组 (Replay Buffffer) 中抽取一个四元组 $(s_j,a_j,r_j,s_{j+1})$ 。然后执行以下步骤，对 DQN 的参数做一轮更新：

1，计算TD目标

——> $\hat{y_i}$ 的后一项基于DQN自己做出的估计

2，定义损失函数

——>让DQN去拟合 $\hat{y_i}$ ，也即用DQN自己做出的估计去拟合自己

3，进行梯度下降，更新参数

1.2 自举对DQN训练的影响

是对价值的近似
最理想的情况下，=
但如果 $Q(s_{j+1},a_{j+1};w)$ 低估/高估了 $Q_*(s_{j+1},a_{j+1})$ ，那么：

换句话说，这种低估/高估会不断地传播下去

2 最大化对DQN训练的影响

2.1 一个数学结论

设 $x_1,\dots,x_d$ 为任意d个实数，往 $x_1,\dots,x_d$ 中加入任意均值为0的随机噪声，得到随机变量 $Z_1,\dots,Z_d$ 。

2.2 回到DQN

公式说明尽管 DQN 是对真实价值的无偏估计，但如果求最大化， DQN 则会高估真实价值。

——>这说明TD目标通常是对真实价值的高估（即使DQN是真实值Q*的无偏估计）

TD算法鼓励接近TD目标 $\hat{y_j}$

——>这会导致高估真实值

3 不均匀高估的危害

高估本身是无害的，除非高估是非均匀的

举个例子，动作空间是 A = {左, 右, 上}。给定当前状态 s，每个动作有一个真实价值：

智能体应当选择动作“上”，因为“上”的价值最高。

假如高估是均匀的，所有的价值都被高估了 100：

那么动作“上”仍然有最大的价值，智能体会选择“上”。这个例子说明高估本身不是问题，只要所有动作价值被同等高估。

但在实践中，所有的动作价值不一定会被同等高估

每当取出一个四元组 $(s_j,a_j,r_j,s_{j+1})$ 用来更新一次DQN，就可能会加重DQN对Q*(s,a)的高估。

对于同一个状态s，(s，左)，(s，右)，(s，上)出现在经验回放数组中的频率是不同的

——>三种动作的价值被高估的程度是不同的

加入最终：

那么智能体agent会选择“右”，这却反而是实际价值最小的action