从技术上看,目前我认为值得深入的是两部分:一个是无监督学习,自然语言有大规模的无标注数据,但针对任务的标注如对话系统的数据是非常有限的。怎样做到使用无监督数据和少量有监督数据将问题做到大规模标注数据效果,是目前我们比较感兴趣的内容。 另外从神经科学角度看,还有对人记忆的仿生。目前的神经网络,包括号称有记忆的循环神经网络,所描述的记忆还是短时记忆,只能理解人说的一句话的内容。人的智慧随着年龄不断增长,核心在于人的记忆。只有人有记忆,在看到新事物的时候,才能通过唤醒记忆的方式找到类似的解决方案和创新。 记忆机制在机器学习尤其是自然语言领域都是近两年大家非常关注的课题,Google、Facebook 都做了非常不错的工作,Google 也在前两个月发了一篇可微分的神经计算机,记忆机制会是后续比较重要的东西。 ©本文为机器之心原创文章,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |