本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:【j2开奖】TensorFlow 工程总监 Quora 问答:深度学习系统瓶颈及用户痛点(2)

时间:2016-10-02 01:40来源:报码现场 作者:j2开奖直播 点击:
有关计算机视觉模型我极力推荐Pete Warden的这篇文章: TensorFlow for Poets(https://petewarden.com/2016/02/28/tensorflow-for-poets/)对初接触TensorFlow的人来说这篇文章是非

  有关计算机视觉模型我极力推荐Pete Warden的这篇文章: TensorFlow for Poets(https://petewarden.com/2016/02/28/tensorflow-for-poets/)对初接触TensorFlow的人来说这篇文章是非常好的指南,从安装TensorFlow到利用一个小图像数据库适配一个视觉模型,都能对你有所帮助。

  5.TensorFlow在多大程度上受到Theano的启发?

  我们从我们的先驱DistBelief上学到了很多经验,也把这些经验应用于TensorFlow。我们观察过所有现有的深度学习框架,团队成员中也有一些这些框架包括Theano,Torch和Caffe的开发者。所以我们的设计在很多方面和Theano很像,例如,怎样支持自动识别,怎样使用符号表达式以及神经网络分层,尤其是基于基本数学和线性代数的层。

  这些都是伟大的框架,我们很幸运能够有向他们学习的机会,并将推动该领域的发展。

  6. 假如计算能力提升十倍,AI研究会受到怎样的影响?

  这是个有趣的思考。我想目前阻碍AI发展的有因素有4点:

计算(Moore’s Law,CPUs,ASICs)

数据(构架好的数据,而不是诸如ImageNet上的网络数据)

算法(研究和想法,例如backprop,CNN,LSTM)

基础架构(Linux, TCP/IP, Git, ROS,PR2, AWS, AMT, TensorFlow, etc.)

  你会发现计算只是其中的一个因素。所以我认为,就算计算能力提升10倍也不会有什么改变。虽然由于能快10倍地得到实验的反馈结果,我的迭代周期肯定会改善。我们目前的许多实验或许也能得到改善(不过不一定,因为很多模型会受到内存限制),所以现有的一些模型能得到好一些的结果。但除此之外,我认为不会立刻有很令人兴奋的改变。

  我认为第4点目前来说是很大而且进展缓慢的限制因素,这就是为什么我很高兴看到OpenAI的出现,我们能真正向它投入资源,建立各种AI专门的基础架构。最后是第3点,我认为它是最重要的因素——就算我有了很强的计算能力,有了数据,也有理想的基础架构,我也不知道用它来运行什么算法才能得到能思考、能讲话、会学习、会探索等等的AI。

  7. 深度学习方面有哪些尚未出现的有用工具?

  作为一名程序员,我喜欢思考编程和实验的深度学习模型。所有应用于那些领域的工具也和这些领域相当关系密切。TensorFlow之于深度学习就像编程语言之于编程。完善这个生态系统还有很多工作要做。

  例如,好的调试工具能帮助研究者理解为什么他们的模型不学习,好的实验管理能让他们更容易进行和分析更多的实验。

  8. AI研究已有无数的挑战,谷歌大脑团队研究的主要问题是什么?

  我们研究那些我们认为能对我们的使命有帮助的问题,我们的使命是造出有助于人类生活的智能机器。我们目前的一些研究包括:机器学习算法、机器人、医疗、以及自然语言理解。更多有关我们的研究领域和出版物的信息可以在官网中查阅:https://research.google.com/teams/brain/这里的每个领域都是为了更广泛地理解机器智能所做的艰苦挑战。

  9. 从DistBelief 到TensorFlow中,最有价值的经验是什么?

  当下的深度学习框架有三个关键基本要求,我会从DistBelief 到TensorFlow的演进讲起,回答这一问题。

可扩展性:DistBelief 被设计成可扩展的,使用了大量的CPU。举个例子,我们的cat paper 使用了16000核。2011年的时候,这是相当了不起的,但是随着硬件大发展和GPU、TPU的出现,对于我们的数据中心来说,支持其他的平台也变得重要起来。在如何在多台机器间进行扩展上,我们学习了很多,直播,比如,我们的Asynchronous SGD 和更近一些的Synchrnous SGD 都是从Disbelief 开始的,但是即使是在今天也会可以应用的。

灵活性:DisBelief 让我们可以扩展,但是,它的建立是在我们中大多数人学会充足的深度学习知识之前。它在真实的产品中运行的很好,这些情况下,在大规模的数据集中进行训练是至关重要的,但是, 在采纳新的概念时,就会变得很难用。前端的几层也进行了多次的升级,我们可以直接采用这些学习,把他们运用到从头开始重新设计TesorFlow上。

(责任编辑:本港台直播)

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容