DQN算法面向相对简单的离散输出，即输出的动作仅有少数有限的个数。在这种情况下，DQN算法在Actor-Critic框架下仅使用Critic评判模块，而没有使用Actor行动模块，因为使用Critic评判模块即可以选择并执行最优的动作，如图3所示。

　　图3 DQN基本结构

　　在DQN中，用一个价值网络（Value Network）来表示Critic评判模块，价值网络输出Q(s,a)，即状态s和动作a下的价值。基于价值网络，我们可以遍历某个状态s下各种动作的价值，然后选择价值最大的一个动作输出。所以，主要问题是如何通过深度学习的随机梯度下降方法来更新价值网络。为了使用梯度下降方法，我们必须为价值网络构造一个损失函数。由于价值网络输出的是Q值，因此如果能够构造出一个目标Q值，就能够通过平方差MSE的方式来得到损失函数。但对于价值网络来说，输入的信息仅有状态s，动作a及回馈r。因此，如何计算出目标Q值是DQN算法的关键，而这正是增强学习能够解决的问题。基于增强学习的Bellman公式，我们能够基于输入信息特别是回馈r构造出目标Q值，从而得到损失函数，对价值网络进行更新。

　　图4 UNREAL算法框图

　　在实际使用中，价值网络可以根据具体的问题构造不同的网络形式。比如Atari有些输入的是图像信息，就可以构造一个卷积神经网络（Convolutional Neural Network，CNN）来作为价值网络。为了增加对历史信息的记忆，还可以在CNN之后加上LSTM长短记忆模型。在DQN训练的时候，先采集历史的输入输出信息作为样本放在经验池（Replay Memory）里面，然后通过随机采样的方式采样多个样本进行minibatch的随机梯度下降训练。

　　DQN算法作为第一个深度增强学习算法，仅使用价值网络，训练效率较低，需要大量的时间训练，并且只能面向低维的离散控制问题，通用性有限。但由于DQN算法第一次成功结合了深度学习和增强学习，解决了高维数据输入问题，并且在Atari游戏上取得突破，具有开创性的意义。

　　A3C（Asynchronous Advantage Actor Critic）算法

　　A3C算法是2015年DeepMind提出的相比DQN更好更通用的一个深度增强学习算法。A3C算法完全使用了Actor-Critic框架，并且引入了异步训练的思想，在提升性能的同时也大大加快了训练速度。A3C算法的基本思想，即Actor-Critic的基本思想，j2直播，是对输出的动作进行好坏评估，如果动作被认为是好的，那么就调整行动网络（Actor Network）使该动作出现的可能性增加。反之如果动作被认为是坏的，则使该动作出现的可能性减少。通过反复的训练，不断调整行动网络找到最优的动作。AlphaGo的自我学习也是基于这样的思想。

　　基于Actor-Critic的基本思想，Critic评判模块的价值网络（Value Network）可以采用DQN的方法进行更新，那么如何构造行动网络的损失函数，实现对网络的训练是算法的关键。一般行动网络的输出有两种方式：一种是概率的方式，即输出某一个动作的概率；另一种是确定性的方式，即输出具体的某一个动作。A3C采用的是概率输出的方式。因此，我们从Critic评判模块，即价值网络中得到对动作的好坏评价，然后用输出动作的对数似然值（Log Likelihood）乘以动作的评价，作为行动网络的损失函数。行动网络的目标是最大化这个损失函数，即如果动作评价为正，就增加其概率，反之减少，符合Actor-Critic的基本思想。有了行动网络的损失函数，atv直播，也就可以通过随机梯度下降的方式进行参数的更新。

　　为了使算法取得更好的效果，如何准确地评价动作的好坏也是算法的关键。A3C在动作价值Q的基础上，使用优势A（Advantage）作为动作的评价。优势A是指动作a在状态s下相对其他动作的优势。假设状态s的价值是V，那么A=Q-V。这里的动作价值Q是指状态s下a的价值，与V的含义不同。直观上看，采用优势A来评估动作更为准确。举个例子来说，假设在状态s下，动作1的Q值是3，动作2的Q值是1，状态s的价值V是2。如果使用Q作为动作的评价，那么动作1和2的出现概率都会增加，但是实际上我们知道唯一要增加出现概率的是动作1。这时如果采用优势A，我们可以计算出动作1的优势是1，动作2的优势是-1。基于优势A来更新网络，动作1的出现概率增加，动作2的出现概率减少，更符合我们的目标。因此，A3C算法调整了Critic评判模块的价值网络，让其输出V值，然后使用多步的历史信息来计算动作的Q值，从而得到优势A，进而计算出损失函数，对行动网络进行更新。