我们最近两年尝试了以人为中心的方法（Human centric approach），意识到在视频里面，人是一个最主要的主体，要理解视频，首先要理解人。因此，我们围绕人，来进行人的检测，以及人的属性和行为的研究工作。

我们用了一些视觉方面的基础技术和深度学习的一些技术。下面举几个例子介绍一下这方面的主要问题、挑战，以及我们取得的一些最新成果。

人脸/人的检测及追踪是非常基础的问题，但在视频处理中，最基本的问题也是非常难的问题。比如要把视频里的人脸模糊掉，就是个难题。大家可能觉得人脸识别在图像方面已经做的很好了。可是一旦用到毫无控制的视频里面，其实并不是一回事。

人脸可能会出现侧面的情况，或者大小不一，各种形象都有可能，要做检测很难。所以一般这种问题，我们都要做检测追踪，如果是做逐帧的检测，很可能在很多帧上都检测不到这个人脸，所以只能通过跟踪的方法，利用全过程的相关性，从能够检测的那帧去跟踪到另一帧里不能检测到的人脸。

在这个视频人脸模糊问题里，因为隐私保护的要求，所以不能漏掉任何一帧里的人脸，如果漏掉一帧，那么就被看见了，因此每帧都在做检测，每帧都在做跟踪。还可能很多情况下，不是所有的人脸都需要被抹掉，可能某些个别的人脸要抹掉，这个问题就更复杂了，因为需要区分不同的人脸，只抹掉需要抹掉的，所以这里面当然就有人脸识别的问题。

同样的技术，用到不同的应用，比如名人识别（celebrity recognition），如果能够检测跟踪并识别到名人的脸，那么就可以知道一个名人他在某个视频里的什么时候出现，出现了多长时间等，这实际上也是一种具体的应用。

人脸当然是一个非常基础的问题，但是很多情况下，可以看到的人脸要么很小，要么看不见，所以必须依靠其他技术，例如，人体的检测与跟踪。人体的问题更复杂，因为它是一个不规则的形状，而且不是不变的，跟踪它比人脸还难，毕竟人脸的形状基本上还是比较固定的。

在这个基础上，我们希望知道一个人的属性是什么，如：性别、是不是戴帽子、衣着的类型等等，这可以被用来做更进一步的研究，搜索一个特定的人或是一类人。也可以做的再细一点，把人体的部分分开，这同样也是为了做理解和搜索，也可以做所谓的Re-Identification，就是在不同的相机视角里面，把同一个人找出来。

我们在这方面做了一些工作，做Re-Identification实际上是一个匹配的过程，要匹配一个人和另外一个人，可以用整个身体去匹配。如果能把一个人分割开，如上衣，下衣等等，atv直播，理论上可以做的更好。

通过CNN网络学到一些特征，再用一些注意力模型（attention model）去把重要的部分抽取出来，然后再结合到一起作为一个特征的描述，这样就不是笼统的描述这个人可能是红色的，而是说这个人的这一部分是什么颜色，那一部分是什么颜色，这样做匹配就会更准确。

还有一个例子是在衣着比例不一样的情况下做匹配，这种时候整个人的匹配就会相对比较难。如果能够有一个方法，虽然衣着比例不一样，但是依旧可以把相应的部分提取出来，做局部的匹配，那么就可以做的更好。这些都可以通过深度学习去学的，包括各部分的关系、怎么样把某一部分找出来，实际上都可以通过深度神经网络去学的。

再进一步，我们还想知道人体的主要关节点在哪里，并把它提取出来。这十分有用，我们可以用它做一些动作的分析和识别，来看一个人到底在做什么样的动作。

这个问题其实也很有挑战性。一是动作可以有各种各样的表现，然后还有遮挡的问题，有些关节会被其他的身体部分给挡住。这方面的工作基本是用一个完全卷积网络（fully convolutional network）去提取信息，给出一个热度图，也就是一个概率。这个模型基本上可以给每一个不同的关节一个概率的分布图，这样就能大概知道，哪里可能是头、膝盖等。