Hadoop 也推出了一项新的 Data Science Workbench 工具,可以让客户在 Hadoop 丛集里面选取符合企业内部安全政策或偏好的工具。他也举例,Tesla 在发展自动驾驶汽车上,搜集了道路、环境、驾驶行为等诸多数据,将这些数据串流到后台资料中心就是使用 Hadoop 的技术作为支持。 不过,他也坦言,AI 和机器学习领域无疑是 Hadoop 未来面临的挑战之一,“目前许多机器学习跟 AI 技术许多都是开放源代码技术,革命不是由单一组织推动。”但是,从发展历程来看,现阶段 AI 和机器学习方面的社群很分散,各自发展,各立山头,所以整个社群都应该团结起来才行,让一些优质的方法走向标准化,全力进一步开发,加速其进步速度,这才会是比较好的方式。” 说到 Hadoop,其实还有一个 Cutting 与他小孩的小象玩具有关的故事,这位 Hadoop 之父只要有公开活动几乎都会带着那只色小象。他指出,给软件命名不是件太容易的事,要尽量找没有被使用过、没有带有意义的字,否则把它写进了程序就可能会影响编程。 就是因为这个原因,Doug Cutting 看到他儿子在牙牙学语时,抱着黄色小象,亲昵的叫 hadoop,他灵光一闪,就把这技术命名为 Hadoop,而且还用了黄色小象作为标示 Logo,不过,事实上的小象瘦瘦长长,不像 Logo 上呈现的那么圆胖。“我儿子现在 17 岁了,所以就把小象给我了,有活动时就带着小象出席,没活动时,小象就丢在家里放袜子的抽屉里。” Doug Cutting 大笑着说。
图丨Doug Cutting 手拿的黄色小象就是命名 Hadoop 的灵感来源 在 Doug Cutting 接受 DT 君专访的第二天(7月13日)正是他的生日,身为 Hadoop 之父,令人好奇如果要为 Hadoop 许下一个愿望,那会是什么?他回答的第一个答案居然是“不知道,Hadoop 已经很成功了,很难再帮他许什么愿。”但接着想了一下,他倒是说出了一个有趣的答案,就是“希望大数据的应用能在资料的生产力与隐私间找到平衡。” 他进一步解释,希望大家能持续找到大数据可以发挥作用的地方,但他对隐私领域特别感兴趣,“必须在大数据应用、技术开发与保护隐私之间取得平衡”。这部分是很需要思考的问题。各界在利用大数据时经常会引来争议,有时太过重视大数据,对个人隐私又会造成威胁,有时太过担心隐私保护,又会使得大数据工具无法发挥它的最大效用。而且每一个国家对隐私的道德标准跟预期都不同,所以解决方法也会不同。只能互相学习。 而 Doug Cutting 的身份除了是 Hadoop 之父外,也是 Cloudera 的首席架构师。Cloudera 可以说是 Hadoop 生态圈里最知名的公司,核心产品是为企业客户搭建基于 Hadoop 的大数据平台,帮助企业安装、配置、运行 Hadoop 以进行海量数据的处理、分析以及机器学习。 也因为大数据前景看好,2014 年 Cloudera 当时估值 41 亿美元时,英特尔就斥资 7.4 亿美元收购 Cloudera 约 18% 股份(在今年 1 月英特尔持有 Cloudera 22% 的股份)。Cloudera 在今年四月底正式于纽交所上市,发行价为每股 15 美元。
图丨Cloudera 上市 (责任编辑:本港台直播) |