大数据文摘作品，转载要求见文末

　　大数据文摘记者：钱天培

　　提到大数据， Doug Cutting可能是最应该被记住的角色。他十年前的作品Hadoop运用分布式存储、运算技术为大数据处理带来了巨大突破。

　　1985年毕业于斯坦福大学，Doug Cutting先后任职于Xerox、Architext、Yahoo和Cloudera，并开发了全球首个全文文本搜索的开源函数库Lucene、著名的开源搜索引擎Nutch，以及他最引人瞩目的作品Hadoop。

　　7月13日至15日，全球数据盛会Strata Data Conference展会在北京召开。Hadoop之父、现任Cloudera首席架构师的Doug Cutting参与并主持了本次大会14日的Keynote演讲，开幕仪式后，他接受了大数据文摘等媒体的采访，为我们讲述了Hadoop诞生的故事，并指出了Hadoop拓展技术生态与云模式、并与AI结合的未来发展方向。

　　Hadoop的诞生：无心插柳的惊喜，发展远超预想

　　“当时我只是个人有这样的一个需要，就是想要做好手上的项目。”

　　谈起他开发Hadoop的初衷，Cutting表示，差不多十年前的项目伊始阶段，他并没有一个明确的Hadoop发展计划。

　　2004年， 处于自由职业阶段的Cutting正在与好友从事一个代号为Nutch的项目的运转开发，旨在能够基于开源去创建出一种网络搜索的引擎，实现一种具有可扩展性、可收缩性的数据技术。巧合的是，Google同期发表的几篇论文与他们的想法十分切合，Cutting便顺势将Google的想法放到了Nutch项目当中来实施。

　　就这样，对大数据运算产生了深远影响的开源软件框架Hadoop诞生了。

　　在开发之初，Hadoop主要服务于搜索引擎和网站创建的服务，而此后，Hadoop也在制造、银行、电信等众多行业得到了广泛应用，Facebook、eBay、LinkedIn等公司都成为了Hadoop的用户。

　　“当时我确实是没有预想到，这个技术创建出来以后具有如此之广的用途。Hadoop发展的演进范围、规模确实大大超出了我当初的预想。”Cutting笑着说道。

　　Hadoop新方向：拓展技术生态与云模式，与AI结合

　　在今天，Hadoop作为一项基础技术在业界发挥着关键作用。而更让Cutting惊喜的是，围绕着Hadoop也发展出了一些列的技术与项目。

　　“Hadoop逐渐发展成了一个基于多种技术组成的系列家族，围绕着Hadoop已经形成了非常强大的生态系统。”Cutting这样告诉我们。

　　举例说，作为Hadoop系存储系统之一的Kudu也已在业界被广泛应用。Kudu是一款非常强大的存储引擎，它既具备了像Hbase随机访问的强大知识能力，同时又有HDFS快速查询能力。此外，Cutting也提到了Cloudera目前正在开发的一款基于Spark机器学习的工具——Apache Spot。这款产品旨在保护用户的网络安全，让他们免遭黑客的攻击。

　　在大数据与AI技术火热发展的当下， Hadoop也成为了与之相当匹配的技术。以Google近期发表的AI图象识别为例，这项技术基于数以十亿计的图象识别深度智能系统培训，背后仍然是用大数据实现AI的理念。人工智能系统进行训练使用的数据量越大，人工智能系统的质量就越高，而Hadoop生态圈即是大规模数据运算的关键之一。

　　除此之外，云计算与云模式的理念也进入了Hadoop的开发中。目前，Hadoop的用户可以在云环境中使用这一架构，这一改变为用户提供了更大的灵活性。

　　Cutting告诉我们，如果用户把Hadoop用本地安装运行的形式来使用的话，他们往往是建单个很大的集群来支持各种不同的应用，并且拥有一个统一的数据拷贝。如果在云环境当中来运行Hadoop，他们的数据会存储在亚马逊之类的系统当中，云环境供应商已经帮助他们管理了数据的拷贝。

　　与此同时，在云环境当中使用Hadoop，客户可以针对不同的应用创建不同的集群，而这样的集群无论是开关或者是规模的伸缩，都可以按需进行，这样对于客户来说，他们在对于应用有了更好控制的同时也增加了灵活性。

　　然而，Cutting也认为，Hadoop在云上的应用与实体物理机上的应用在未来的若干年仍然会长期并存下去。