时域注意力：众所周知，一个行为动作的过程要经历多个状态（对应很多时间帧），人体在每个时刻也呈现出不同的姿态，那么，是不是每一帧在动作判别中的重要性都相同呢？以“挥拳”为例，整个过程经历了开始的靠近阶段、挥动拳脚的高潮阶段以及结束阶段。相比之下，挥动拳脚的高潮阶段包含了更多的信息，最有助于动作的判别。依据这一点，我们设计了时域注意力模型，通过一个LSTM子网络来自动学习和获知序列中不同帧的重要性，使重要的帧在分类中起更大的作用，以优化识别的精度。

空域注意力：对于行为动作的判别，是不是每个关节点在动作判别中都同等重要呢？研究证明，一些行为动作会跟某些关节点构成的集合相关，而另一些行为动作会跟其它一些关节点构成的集合相关。比如“打电话”，主要跟头、肩膀、手肘和手腕这些关节点密切相关，同时跟腿上的关节点关系很小，而对“走路”这个动作的判别主要通过腿部节点的观察就可以完成。与此相适应，我们设计了一个LSTM子网络，依据序列的内容自动给不同关节点分配不同的重要性，即给予不同的注意力。由于注意力是基于内容的，即当前帧信息和历史信息共同决定的，因此，在同一个序列中，关节点重要性的分配可以随着时间的变化而改变。

图1.2展示了网络框架图。时域注意力子网络 （Temporal Attention）学习一个时域注意力模型来给不同帧分配合适的重要性，并以此为依据对不同帧信息进行融合。空域注意力子网络（Spatial Attention）学习一个时域注意力模型来给不同节点分配合适的重要性，作用于网络的输入关节点上。

图1.2：网络结构框图。主网络（Main LSTM Network）用于对特征进行提取、时域相关性利用和最终的分类。时域注意力子网络 （Temporal Attention）用于给不同帧分配合适的重要性。空域注意力子网络（Spatial Attention）用于给不同关节点分配合适的重要性。

空时注意力模型能带来多大的好处呢？我们在SBU 数据库、NTU RGB+D 数据库的Cross Subject(CS) 和 Cross View(CV) 设置上分别进行了实验，以检测其有效性。图1.3展示了性能的比较：LSTM表示只有主LSTM网络时的性能（没引入注意力模型）。当同时引入时域注意力（TA）和空域注意力（SA）网络后，如STA-LSTM所示，识别的精度实现了大幅提升。

图1.3：空时注意力网络的识别精度比较。(a) SBU 数据库。(b) NTU 数据库Cross Subject(CS)。(c) NTU数据库Cross-View(CV)。其中, LSTM只包含主网络结构。STA-LSTM同时包含了空时子网络。

细心的读者可能已经发现，序列中的空域注意力和时域注意力具体为多大是没有参考的(不知道Groundtruth)。网络是以优化最终分类性能来自动习得注意力。那么，学到的注意力模型分配的注意力数值是什么样呢？我们可视化并分析了空时注意力模型的输出。图1.4可视化了在 “挥拳”行为动作的测试序列上，模型输出的空域注意力权重的大小，时域注意力权重值以及相邻帧时域注意力的差值。如图1.4（a）中所示，主动方（右侧人）的节点被赋予了更大的权值，且腿部的节点更加活跃。图（b）展示了时域注意力的变化，可以看到，时域注意力随着动作的发展逐渐上升，相邻帧时域注意力差值的变化则表明了帧间判别力的增量。时域注意力模型会对更具判别力的帧赋予较大的注意力权重。对不同的行为动作，空间注意力模型赋予较大权重的节点也不同，整体和人的感知一致。

(a)

(b) (c)

图1.4: 空时注意力模型学到的权重在“挥拳”测试序列上的可视化。(a) 空域注意力权重。红色圆圈的大小示意对应关节点权重的大小。红色圆圈越大，表示权重越大。这里我们只将有着最大权重的前8个节点做了标记。(b) 时域注意力权重。(c) 差分时域注意力权重，即相邻帧的时域注意力权重的差值。

　　2. LSTM网络框架和关节点共现性（Co-occurrence）的挖掘之于行为识别