关于关节点估计（Pose Estimation）的挑战实际上也很多。第一个问题是相似性，左踝关节和右踝关节可能很难区分。在这种情况下，可能需要利用不同关节间的特殊关系来帮助确认。第二个问题是动作、姿势的多样性。如果利用关节间的特殊关系，就需要想办法去考虑到各种各样的情形，因为图像中不一定在头部左边的就是左肩。我们找到了一个方法可以把比较多样的状况标准化成比较一致的数据，只要数据一致之后就具有一定的统计性，有了统计性就会很好学。

除此之外，我们也在做多人关节点估计，多人情况下一旦有多个人出现并且靠的比较近时就会有更多不明确的信息，谁的左肩、谁的右脚等等，会有更复杂的问题。

还有一个是在视频上做关节点估计，传统方法是一帧一帧的去解然后再做关节点的叠加。但原则上应该直接作为一个视频数据，去解决里面动作/关节点的检测和追踪。

在行为识别方面，我们也有一系列的工作。比如一个RGB的视频，我们希望把他的姿态和关节点找出来，从而判断是什么样的动作。如下图，我们设计了一个网络，因为这是一个视频，就算从图像上得到关节的序列，但它还是一个时间序列的数据。所以一般在这种情况下，我们都可以用一个RNN。

图中的LSTM是属于特殊类别的一种RNN，因为它有记忆性，所以在每一个时刻，它不但能看到当前这一帧的骨骼，还记下了前几帧的骨骼信息。因此，它可以做一个总体的判断，来表示在一小段时间里面，动作是如何变化的，这样行为识别可以做的更好。LSTM是目前非常流行的方法，它对于时序数据或者视频数据来说都是一个很好的工具。

同时，可能还要加一些约束，比如共现性学习（co-occurrence learning），对一定的动作，某些关节之间会有很大的相关性，所以需要将限制加入到网络中从而帮助更好、更快的学习。因为空间很大、参数非常多，所以一定要利用先验的知识或者一些特性。

此外，在做行为识别时，可以看到一个特定的动作其实不是所有的关节都是同样重要的。比如下图，喝水的时候，手部、肘部的关节可能比较重要，腿部可能就是噪声。

所以我们有一个空域注意力（spatial attention），就是做一个特定动作的分类器，j2直播，从而更多关注那些需要学习的关节，这样就可以把噪声去掉，在做设计的时候才能做的更好。同样，在输出上也是一样，因为这是一个序列，所以实际上在每一帧里面可能都有一个输出。

在时域中，实际上也有一个注意力的问题，比如踢腿这个动作，可能踢的快到最高点的时候是最主要的点。其他时候也有一些输出，但是不见得是对这个动作最重要的输出。对于最有助于踢这个动作判断的，我们叫时域注意力（temporal attention）。最终得到一个如下所示基本的网络结构。

从NTU这个目前最大的3D skeleton数据集的结果可以看出来，在短短一两年的时间，提升还是很大的。我们的STA-LSTM方法做出的结果有很好的效果。

前面提到的重点都是在人上，但是其他比较主要的物体，像车我们也在做，包括车的检测、跟踪，双闪灯、左转灯等等，当然车牌也是很重要的一个部分，检测加识别。当然如果有检测和跟踪技术，同样也可以做一些编辑的应用，比如把车牌抹掉，这实际上跟之前提到的视频中的人脸部分的编辑面临同样的问题。

我刚才展示了我们最近做的一些工作。最后想对大家说，微软研究院和学校一个比较大的不同在于微软毕竟是一个大的企业，所以我们除了发很好的论文以外，还要考虑如何把我们的研究成果转化为生产力，去造福这个社会。目前，我们有很多的技术已经被运用到了产品里，有的还正在产品化的过程中，同时我们也在跟许多内部和外部的同行进行合作。我们希望与大家进行更多的交流，从而推动技术的发展！

谢谢大家！

　　你也许还想看：