本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

报码:【j2开奖】一周论文 | 基于翻译模型(Trans系列)的知识表示学习(2)

时间:2016-10-22 20:56来源:118论坛 作者:118开奖 点击:
这个模型的一个亮点就是用尽量少的参数对复杂的关系建模。 下图罗列了相关工作的模型以及复杂度。图中可以看到从TransE到TransH并没有添加太多的参数

这个模型的一个亮点就是用尽量少的参数对复杂的关系建模。 下图罗列了相关工作的模型以及复杂度。图中可以看到从TransE到TransH并没有添加太多的参数(Unstructured只是TransE简化版)。Bilinear,Single Layer, NTN对关系或者实体进行了非线性的转换,作者认为是没有必要的(增加了模型复杂度)。

  

报码:【j2开奖】一周论文 | 基于翻译模型(Trans系列)的知识表示学习

TransH模型的训练和TransE类似 (SGD优化) ,下面是损失函数(因为一些限制,后面加入了拉格朗日乘数)。论文另一个亮点是设计了一种负类抽样的方法,即一对多的时候,给head更多的抽样概率, 同样的多对一的时候,给tail更多抽样概率。

  

报码:【j2开奖】一周论文 | 基于翻译模型(Trans系列)的知识表示学习

  资源

数据集 WordNet:

  数据集 Freebase:

  Code:https://github.com/thunlp/KB2E

  相关工作

1、TransE (Bordes et al. 2013b): 和TransH相比,它没有将关系映射到另一个空间,关系由一个向量r表示。

  2、Unstructured Model:简化版的TransE,假设r = 0。

  3、Structured Embedding: 使用了两个关系相关的矩阵,分别用于头h和尾t,评估函数为:

该方法并没有抓住实体和关系之间的关系。

  4、Single Layer Model(SLM):使用了神经网络,评估函数为:

5、Distant Model (Bordes et al. 2011):它将实体映射到另一个空间,然后假定关系是距离而不是向量(因为用了2个不同矩阵映射实体,所以对实体关系建模并不是很好)。

  6、Bilinear Model (Jenatton et al. 2012; Sutskever, Tenen- baum, and Salakhutdinov 2009),Single Layer Model (Socher et al. 2013),NTN (Socher et al. 2013):他们都是使用非线性函数映射实体,这样模型表达能力虽然好但是太多参数也太复杂了(容易过拟合)。

  简评

论文提出的TransH模型,为了解决TransE对一对多,多对一,多对多关系建模的难题。它权衡模型复杂度和模型表达能力。而且还设计了复杂取样的办法用于训练。

  TransD: knowledge graph embedding via dynamic mapping matrix作者

Guoliang Ji, Shizhu He, Liheng Xu, Kang Liu and Jun Zhao

  单位

中国科学院自动化研究所 National Laboratory of Pattern Recognition (NLPR)

  关键词

knowledge graph embedding, link prediction.

  文章来源

ACL2015

  问题

知识图谱中的link prediction。

  模型

在link prediction上的TransE扩展模型,函数仍然为:

但h丄和t丄为entity向量h和entity向量t在该relation r上的投影表示。投影定义为:

其中(h_p)^T为某entity的投影向量,h为该entity的表示向量。

  资源

数据集 WordNet

  数据集 FreeBase https://developers.google.com/freebase/

  相关工作

如果TransD的所有投影向量为0,TransD就是TransE。类似的还有TransR/CTransR,他们对每个relation定义了一个mapping矩阵,参数更多计算复杂度更大。

  简评

模型只涉及vector的相乘,因此计算复杂度较小,效果也取得了state-of-the-art,适合用于规模很大的知识图谱。

  TransA:An Adaptive Approach for Knowledge Graph Embedding作者

Hao Xian, Minlin Huang, Hao Yu, Xiaoyan Zhu

  单位

清华大学 State Key Lab on Intelligent Technology and Systems

  关键词

knowledge graph embedding, elliptical equipotential hypersurfaces, metric learning.

  文章来源

arXiv

  问题

如何解决了translation-based 知识表示方法存在的过于简化损失度量,没有足够竞争力去度量知识库中实体/关系的多样性和复杂性问题。

  模型

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容