本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:【j2开奖】NIPS十大机器学习论文精选,从注意力机制到集成学习(附下载)(5)

时间:2017-04-01 01:09来源:118图库 作者:www.wzatv.cc 点击:
文章对这个Coreset进行了严格的证明,这里就不复述了。文章的实验在生成的数据集以及真实数据集中都进行了对比。在好几个数据集上,采用Coreset的算法

  文章对这个Coreset进行了严格的证明,这里就不复述了。文章的实验在生成的数据集以及真实数据集中都进行了对比。在好几个数据集上,采用Coreset的算法能够在几千到几万这个数量级上很快达到普通算法在全集上的效果。不过,开奖,文章也留下了几个非常根本的疑问,比如这个Coreset看上去是为Logistic Regression特殊构造的,不知道对于其他的算法该如何构造。另外,算法本身需要对数据进行K-Clustering,这对于大数据来说可能已经很难达到,于是整体的算法效率还有待考验。不过这些不掩盖这篇文章的新颖思路。

  Data Programming: Creating Large Training Sets, Quickly

  

wzatv:【j2开奖】NIPS十大机器学习论文精选,从注意力机制到集成学习(附下载)

  摘要:在很多机器学习的任务中,构建一个有标注的数据集可能是最消耗人工的步骤。这篇文章提出了一个叫Data Programming的理论来尝试解决这个问题。

  这篇文章来自斯坦福大学的一批学者。他们想要解决这么一个问题,那就是在很多机器学习的任务中,构建一个有标注的数据集可能是最消耗人工的步骤。如何能够有效降低这步的时间和投入的精力,成了这篇文章的主题。文章提出了一个叫Data Programming的概念。简单说来,在这个框架下,用户提供一组Heuristic标注函数(Labeling Functions)。这些标注函数可以互相抵触,可以重复,也可以依赖外部的Knowledge Base等。然后,文章提出的框架则学习各个标注函数之间的Correlation关系,从而可以利用多种标注函数,达到监督学习(Supervised Learning)的效果。文章采用Logistic Regression在Binary的分类问题上作为一个例子。每一个Heuristic标注函数拥有两个参数,一个是控制有多大可能性标注一个对象,而另一个则是控制标注对象的准确度。于是学习这两个参数就成为目标函数的主要部分。在所有的标注函数都是独立的情况下,文章采用了最大似然(Maximum Likelihood Estimation)的方法估计到这两个参数的取值。在已经得到了这两个估计的情况下,作者们进一步利用原本的Logistic Regression来学习一个分类器。也就是说,整个框架分为两个部分。当然,独立的标注函数作用还是有限。文章提出了一个类似Markov Random Field的方式来处理各个标注函数之间的相互关系。在数据实验中,基于Data Programming的方法不管是在人工Feature还是采取LSTM自动学习的Feature中都有很显著的效果提升。这篇文章非常适合需要对Crowdsourcing进行学习和研究的学者。

  Residual Networks Behave Like Ensembles of Relatively Shallow Network

  

wzatv:【j2开奖】NIPS十大机器学习论文精选,从注意力机制到集成学习(附下载)

  摘要:残差网为什么能够训练深层次的网络?这篇文章从集成学习(Ensemble Learning)的角度入手,给残差网新的解释。

  这篇文章来自于康奈尔大学的学者,他们在这篇文章里,主要是想从全新的,也就是集成学习(Ensemble Learning)的角度来解释残差网的成功。这篇文章的贡献主要有以下三个方面:

文章展示了残差网其实可以被看做是很多路径(Path)的集合,而不仅仅是一个很深的网络。

文章通过研究发现,这些路径并不互相紧密拟合。同时,这些路径表现出了集成学习的效果。

作者同时也研究了残差网的Gradient问题,发现仅仅是短路径对Gradient的传播起了作用,而更深的路径在训练模型时并不是必须的。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容