编译:弗格森 新智元启动新一轮大招聘:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j[email protected] HR 微信:13552313024 新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元,与人工智能业界领袖携手改变世界。 【新智元导读】本文是纽约大学助理教授 Sam Bowman 关于自然语言处理中深度学习活跃领域的课程讲义PPT。对深度学习NLP领域最近较为活跃的研究进行了综述,其中包括Attention 模型、结构化记忆、词水平以上的无监督学习等等。Sam Bowman 在斯坦福大学完成博士学位,是Kris Manning 和 Chris Potts的学生【在新智元微信公众号回复1130,可下载全部43页PPT】 我们正在快速进步
深度学习中的活跃研究领域之NLP。
大多数6岁儿童都能处理的语言问题,现在机器还远远做不到……但是,我们正在快速进步中。 目录
目录: 词,字或词素? Muti-hop 注意力和结构化记忆学习 深度增强学习 有效的句子表征学习 低资源学习 在词水平线上的无监督学习 可解释性 常识 词,开奖,字和词素的优势和劣势
词,字或词素
问题:我们如何把文本跨度表示为一个神经网络模型的输入或者输出? 换句话说: 编码器应该看到什么类型的符号? 解码器应该产生什么类型的符号?
词语本身的问题? 优势: 容易标记化 与意义单元的基础相近 劣势: 词汇组成很大
词素? 优势:意义的基本单元 劣势:很难标记化 词汇组成依然很大
字节配对编码 优势 标注化比较简单 词汇构成可以自由条换 与意义的基本单元比较接近 劣势: 目前结果很混乱
字(字母)? 优势: 非常便于标注 没有生僻词的问题 最近的研究
1.字母 n-Gram 嵌入
2. 神经机器翻译的一个混合模型
3. 神经机器翻译的字母+池化 Multi-HOP Attention 和 结构化记忆
处理大型的输入
记忆网络框架
原始记忆网络
多变量:最近的研究,大多数都是关于阅读理解,包含了一些结构化的记忆。
故事理解中,超过5-Grams的记忆网络
Attention + Attention +增加输入 深度增强学习
深度增强学习的定义和介绍
NLP 中的深度增强学习
一个例子:问答
问答其实是很难的,回报可能是非零(Non-zero),只有一小部分可能的行动;在一大串的动作之后,你可能只得到一个回报。
实际上,深度增强学习用于NLP是很难的
实时翻译
用于解释的语法分析,使用SPINN和SNLI
用重复的搜索命令进行信息提取 其他议题
低资源学习
可解释性
常识,常识推理
能从语言学中学到什么
最后提醒:本研究中提到的所有神经元指的都是一种有用的工具,任何与真实的神经元形成的类比,都纯属巧合。
责编:SQ 新智元招聘 职位 运营总监 职位年薪:36- 50万(工资+奖金) 工作地点:北京-海淀区 所属部门:运营部 汇报对象:COO 下属人数:2人 年龄要求:25 岁 至 35 岁 性别要求:不限 工作年限:3 年以上 语 言:英语6级(海外留学背景优先) 职位描述 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作,人工智能及机器人产业方向 擅长开拓市场,atv,并与潜在客户建立良好的人际关系 深度了解人工智能及机器人产业及相关市场状况,随时掌握市场动态 主动协调部门之间项目合作,组织好跨部门间的合作,具备良好的影响力 带领团队完成营业额目标,并监控管理项目状况 负责公司平台运营方面的战略计划、合作计划的制定与实施 岗位要求 大学本科以上学历,硕士优先,要求有较高英语沟通能力 3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力 (责任编辑:本港台直播) |