本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

【j2开奖】专栏 | 第四范式先知平台的整体架构和实现细节(7)

时间:2016-11-17 19:06来源:118论坛 作者:开奖直播现场 点击:
首先 Prophet 定位在一套完整的平台,包括核心机器学习算法框架 GDBT(没错不是 GBDT,这是个算法框架,其作者起名为 General Distributed Brilliant Technology),以

首先 Prophet 定位在一套完整的平台,包括核心机器学习算法框架 GDBT(没错不是 GBDT,这是个算法框架,其作者起名为 General Distributed Brilliant Technology),以及机器学习任务调度框架 TM,以及人机接口 Lamma,还有架设在整个框架上的一系列算子。当然这些都是内部名字无所谓,总的来说 Prophet 提供的是端到端的机器学习能力,进来是数据,出去是 Service。

然后关于 GDBT 和 Spark,应该说对比的是 基于 GDBT 的算法 以及 基于 Spark 的算法(MLLib 实现),由于计算架构的不同,所以简单的来说多少多少倍是没有太多的意义,因为如果特征纬度多到一定程度,MLLib 在不做数据采样的情况下是无法完成某些训练的。但是具体在几千万行,几十个核的场景下,快几百倍是实测结果。

另外,我们在做的事情,算法框架是一个部分,性能也是很重要的,但是做这些的目的是为了降低机器学习应用于具体行业的门槛和先决要求。这个先决要求既包含硬件上的,也包含人在机器学习方面知识的要求。拥有更强大的计算能力和特征处理能力,意味着我们可以更少的让人输入信息,而更多的依靠计算机自身的学习和计算来找到机器学习算法在具体问题上应用的最佳结合点,这其中甚至还需要包括如何去利用计算资源的投入避免机器学习常见的一些缺陷。

因此 Prophet 不会替代 Spark,Prophet 里面的很多组件也是基于 Spark 的,Prophet 的目标是把 AI 的能力较为容易的带到各个应用场景,为了这个目标,我们会利用好 GDBT,也会极致的利用好 Spark,也会利用硬件技术的最新进展。一切为了 AI for everyone。

简单的来说,先知的设计范围超出了 Spark,包含了 Spark,所以不能说是替代。

Q12:什么样的企业用得起机器学习来辅助运营?使用你们机器学习系统的门槛是什么?

答:从目前来看,需要有一个好的业务场景和足够的数据。互联网的 APP 或者非常大的传统行业里面的推荐、营销、定价等场景都比较适合。数据量小的就要看,通常来说 10 万多样本分布均匀就有这个可能。用这个机器学习系统目前的门槛是首先要能理解数据和业务,有一定的统计的背景和思路,然后就是能够导入导出数据,最后就是阅读一下先知的使用手册和培训视频。

Q13:电商推荐平台,怎么样能最快地应用机器学习的精准推荐?

答:对于推荐场景,我们有相对比较成熟的接入方案,可以快速通过数据和 API 接入,通过公有云的 SaaS 服务享受到 GDBT 的能力以及先知的整体效果。有需求的朋友可以关注我们的官方网站和公众号(NextParadigm),我们会近期放出先知推荐的试用邀请。

Q14:机器学习目前哪些企业和行业应用比较广泛?国内有哪些成功案例。

答:大规模机器学习,BAT 今日头条等,广告推荐为主。我们在银行最近的探索也有很多成功的例子,比如在营销和定价、反欺诈方面。另外风控一向是机器学习的主战场。

Q15:自动特征这套做法,跟百度凤巢的那套是一样的对吧?百度有公开论文,是 gradient boosting factorization machine,这个方法比深度学习那个自动特征相比如何?

答:做法和夏粉老师的那套不一样;夏老师和张潼老师这篇文章和 nn-based 的各有优劣。其实 NN 没有大家想的那么万能,「人工」的很多 feature combination 是 NN 很难学出的,其中有很多有趣的问题,这里就不赘述了,可以再交流。

另外:对于 FPGA 和 GPU 的未来我们有一段简单的思考,之前有准备过一段,之前没用上,现在贴这里:

FPGA 是作为专用集成电路领域中的一种半定制电路而出现的,既解决了全定制电路的不足,又克服了原有可编程逻辑器件门电路数有限的缺点。机器学习尤其是深度学习是计算密集型的,比如深度学习里面有大量的浮点矩阵运算这种并行浮点运算需求,传统的 CPU 从设计上而言已经很难满足这种大规模浮点计算密集型任务。目前针对这种机器学习任务,CPU 主流的替代选择是 FPGA 和 GPU。

GPU 是固定的计算架构的计算设备,有着良好的软件编程接口,但是对于特定的计算模式和模型结构不一定是最优的选择。FPGA 本身是一种可编程的硬件,对于有研发能力的厂商而言,深度优化过的 FPGA,相比 GPU,能够提供更专有的硬件加速,更重要的是 FPGA 在单位能耗上能提供的计算能力要高于 GPU。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容