内容介绍:本讲座旨在让NLP研究者加速与深度学习和神经网络领域的最新技术接轨,并展示如何将他们的想法变为现实。我们将从简单的分类模型(逻辑回归和多层感知器)开始,然后涵盖NLP相关的更多更高级的模型,atv,如序列标记和预测问题的回归网络、结构化网络(如基于句法树的组合结构)、结构化输出空间(序列和数),关注序列和序列间的转导,以及复杂算法状态的特征归纳。 T2:NLP 中为可扩展联合推理的高级马尔科夫逻辑技术 讲者:Deepak Venugopal, Vibhav Gogate,Vincent Ng 内容介绍:在本讲座中,我们将介绍MLN中提升推理和学习的最新进展,以及使MLN成为NLP应用的“黑盒”的新方法。具体地说,我们将介绍过去几年里MLN研究中出现的一个关键方法:提升推理。提升推理是指利用对称性优势的推理技术,它在MLN中既是精确,又是近似。我们将解释如何用这些推理技术来执行有效的联合推断。我们还将展示我们用于MLN推理和学习的、基于提升推理的新软件包 Alchemy 2.0,展示如何使用它来扩展大型模型和数据集中判断语义相似性、信息提取和问题回答的推理和学习。 T3:自然语言处理中的终身机器学习 讲者:Zhiyuan Chen & Bing Liu 内容介绍:机器学习(ML)已经成为解决许多 NLP 问题的普遍方法。然而,经典的ML范例仍然是孤立学习的。也就是说,给定一个数据集,对数据集执行ML算法,然后生成不使用任何相关知识或先验知识的模型。虽然这种类型的孤立学习非常有效,但它也有严重的局限性,因为它不会积累过去学到的知识,并用过去的知识来帮助未来的学习。这是人类学习和人类智能的特征。终身机器学习(LML)旨在实现这种能力。具体来说,它旨在设计和开发像人类一样学习的计算系统和算法,即积累过去学到的知识,并利用这些知识来帮助未来的学习。本讲座中,我们将介绍LML的现有研究,表明LML非常适合于NLP任务,并且有潜力帮助NLP取得更大进展。 T4:情感分析神经网络 讲者:Yue Zhang& Duy Tin Vo 内容介绍:情感分析一直是自然语言处理(NLP)的一个主要研究课题。本讲座将介绍用于情感分析的神经网络模型,讨论词汇嵌入、序列模型和数结构模型的计算以及他们在词汇、句子及篇章层面上的应用,以及细粒度情感分析。本讲座涵盖一系列神经网络模型(如CNN,RNN,RecNN,LSTM)及其扩展,它们用于四个主要的情感分析任务:情感导向嵌入;句子层面情感分析;篇章层面情感分析;细粒度情感分析。 T5: 跨语言NLP应用中的连续向量空间 讲者:Rafael E. Banchs 内容介绍:几何学中向量空间内的距离概念,加上词义与语义被证明在许多单一自然语言出路应用中很有用。最新的证据表明,这一方法在跨语言背景中也很有用。在本讲座中,我们讨论了特定跨语言自然语言处理应用中向量空间模型范式的最新进展,对其背后的理论背景进行回顾。讲座介绍了关于分布式词义和向量空间方法的一些基本概念。更具体的,分布式理论的概念和术语记录标准将会被检视,然后是一个关于线性与非线性维度减少的简单讨论,以及这些方法对于词义认知的平行分布式方法的帮助。 T6:大规模结构化预测的方法和理论 讲者:Xu Sun、Yansong Feng 内容介绍:许多重要的NLP任务都被转化成一个结构化的预测难题,并尝试从输入中预测某种形式的结构化输出。结构化预测的例子包括POS 标签,也就是种类识别、PCFG 分析、依存关系语法分析、机器翻译等等。使用结构化预测来完成具体的NLP任务,面临以下几个挑战:① 模型选择:在众多拥有不同特征的模型和算法中,我们针对特定的NLP任务,该选择哪一个?② 训练:如何有效地训练模型参数?③ 过拟合:为了在测试数据上获得较好的准确率,对训练数据中的过拟合进行控制变得很重要。 (责任编辑:本港台直播) |