如果你想捕捉很远的地方跟你这个地方的相关性的话,网络层次就必须比较深。如果只有一层的话,你根本抓不到很远的地方的相关性。可一旦网络层次比较深,我们的训练会变得非常复杂、非常困难。为了保证训练效果,提高训练精度,我们引入了深度残差网络,来做这个事情。 这就是为什么我们要用残差网络来解决这个问题。为了能够捕捉距离不同的区域之间的人流量的空间相关性,我们需要很深的卷积神经网络,但是一旦卷积神经网络很深,训练效果就变得很差,所以另一方面需要借助深度残差网络这个结构来使训练效果变得更好。这部分其实是抓住了空间的属性。 而前面刚刚说的这个结构就是时间,这3个是时间的平滑性、周期性和趋势性,而每一个内部就抓住了空间的特性,就是在相邻的此刻,他们的是空间怎么样的,直播,在周期上,空间是怎么样的。 因为有了之前对时空数据深刻的理解,我们才能设计出这样一个网络结构来,这网络结构的优势是什么呢?为什么不直接用深度神经网络,为什么不用RNN的网络?LSTM为什么不能直接用呢? 郑宇说,直接用传统的RNN和LSTM,如果你希望数据里面包含周期性和趋势性,那你输入的数据就必须很长,如果你只用了最近两个小时的数据进行输入,你不可能从里面体现周期性,也不可能体现趋势性。但如果你把过去3个月的数据做了RNN输入的话,这个模型就会变得非常大,非常复杂,最后是很难训练的,效果也很不好。 在我们的模型里,我们根据先验知识,只需要抽取一些关键帧,比如说昨天同一时刻,前天同一时刻,其他时间可以不做输入。这样的话,大概只要用几十帧的关键帧,就可以体现出我们几个月里面所包含的周期性和趋势性,使得我们的网络结构大大简化,训练的质量和效果也大大提高,这就是很关键的一个地方。 新智元记者问道,这次的神经网络做到多少层呢?郑宇表示,这个项目采用了不同的参数做实验,现在得到最好的结果是24层。具体多少层效果最好,跟不同的应用和数据规模都有关系。对于不同的问题,最好效果的层次是不一样的。如果现在换成上海市的数据训练,可能效果最好的层数又不一样了。 实际应用成本高吗? 新智元:训练需要多长时间? 郑宇:训练时间大概一两天,根据具体问题有所不同,使用的计算资源不同而不同,总体说来不会太慢。 新智元:如果应用的话,需要很多算力嘛,成本是否是这些公共部门可以承担的? 郑宇:线上运行花的钱不多,但是你要接入在线的数据。成本方面最大的成本是数据接入成本,第二才是离线训练,最后是线上的运行,其实花不了太多钱,几块GPU就搞定了。我相信这是一个可以承担的合理数字。 新智元:有没有跟政府合作应用? 郑宇:目前我们与贵阳政府有合作,贵阳政府的大数据基地目前是唯一可以接入实时数据的,但是因为城市规模以及出租车数量相对一线城市有差异,所以数据量不大。 在雾霾、反恐等其它方面的应用 新智元:您觉得这次的研究成果接下来会在哪些领域得到最快的应用? 郑宇:在交通管理和公共安全部门会最先应用。之后地铁调度也可以用到。 新智元:您还做过雾霾的预测,请问这方面用到的技术又是什么?是否也是深度残差网络?雾霾预测有什么新的进展吗? 郑宇:雾霾跟这个问题不一样,。雾霾以前根本不能用深度学习做,因为数据量不够大。我们中国是2012年才开始对外公布pm2.5浓度,站点也不是很多,且每个小时才公布一次空气质量读数,因此样本不是很多。随着时间越来越久,慢慢的就可以开始引入深度学习的方法来做。即便要用深度学习也得有讲究,要考虑数据的时空属性,以及样本的不充裕。因此,这个网络结构怎么优化,怎么利用时空数据的特性,怎么降低这个层次,同时保证精度,还是有一定难度的。深度学习在时空数据上的探索,绝对不是直接的拿来主义,还有很多问题有待解决和深挖。 新智元:反恐方面,人工智能有些什么样的解决方案?论文提到的技术,在反恐方面有应用前景吗? (责任编辑:本港台直播) |