作为该系列的开篇文章，本期我们将从宏观的角度带你观察大数据行业的整体生态结构，对大数据采集、数据的分布式存储与处理，以及在此基础之上的数据分析、可视化和在众多行业中的应用进行概述。其后的每篇文章我们都会挑选大约5个行业的数十家典型公司进行详细介绍，并会对其中一个重点行业进行逻辑的梳理与详细案例的剖析。那么首先我们就来说说大数据技术是如何产生的？

第一 大数据的技术基础

早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为 “第三次浪潮的华彩乐章”，这标志着人们首次对海量数据所能够产生的价值有了初步的了解。

但由于连接方式的局限，长期以来人们对于数据的应用大多以企业内部的商业智能为主，随着互联网、移动互联网的普及，企业终于能够直接与用户产生链接并获得大量的用户行为与消费等数据，大数据产业应用的轮廓才渐渐清晰。

2000年初Google为了实现对大量网页的信息抓取、存储，并完成索引的建立及排序功能，同时又希望降低硬件采购成本而逐渐摸索出了利用普通物理机实现的分布式存储、计算体系。这一技术以MapReduce及GFS而为人所熟知，借此大数据得以分布存储在多个数据库中，并进行大规模并发处理，解决了以往单一计算机存储能力不够，计算时间过长而不具备实用性的问题。

依据2003年底Google所发布的论文，前雅虎工程师开发出了类似的分布式存储计算技术Hadoop，随后围绕Hadoop产生了庞大的生态体系，逐渐使大数据基础架构日臻完善。

Hadoop功能包括从数据采集、存储、分析、转运、再到页面展示，完整涵盖了整个流程。例如HDFS实现了数据的分布式存储，HBase负责实现数据库的功能，Flume执行对数据的收集，Sqoop能够对数据进行转移、治理， MapReduce可以通过算法实现分布式计算，Hive则做数据仓库，Pig做数据流处理，Zookeeper实现了各节点间的反馈收集与负载平衡服务，Ambari能够让管理员了解架构整体的工作运行情况。

Hadoop生态技术架构

而随着技术的发展，一些适应独特应用场景的数据库、计算处理等软件也越发丰富，例如非结构化数据库MongoDB就因为其较为强大的条件查询功能以及灵活的数据结构获得了广泛的应用；Spark则将Hadoop中的存储介质替换为闪存，而获得了百倍处理速度的增长，Databricks Cloud就是这一架构下的产品化服务。

除此之外大数据生态中还存在着很多的技术发展路径，其中MPP技术主要还是以关系型数据库为主和Hadoop技术目标类似，都为了将数据切分、独立计算后再汇总。相对于SQL on Hadoop，MPP具有数据优化程度高、计算速度快，擅长被用于进行交叉分析等优点，适合企业进行数据分析使用，但其扩展性相对Hadoop来说较弱，一般在10个节点以上便丧失了计算优势，并且由于非开源架构导致其对特定硬件依赖程度较高。

采用MPP存储模式的代表性公司有Teradata，能够通过进行企业数据分析帮助员工减轻大数据处理的精力消耗与费用成本，使企业能够更加专注于业务运营。在传统数据库公司与意图进入数据库市场的企业服务公司（例如SAP）掀起的收购热潮中，Teradata是目前市场仅存的几家大型独立数据分析公司之一。

第二 大数据的数据来源

2011年麦肯锡发布了一份题为“Big Data: The Next Frontier for Innovation, Competition and Productivity”的报告，里面提到美国拥有1000人以上规模的公司平均存储了超过200T的数据，如果对数据进行价值挖掘将激发很多行业及公司的潜力，这一报告标志了商业领域大数据热潮的开端，也使企业服务软件成为了大数据最初的数据源。

随着存储及计算能力的加强和国内大数据产业的兴起，部分从业者在看到行业巨大前景的同时也意识到了国内数据资源的缺乏，开奖，由于民生、电信、交通、电力等具有很高价值的数据都掌握在政府及大型国企中并不开放，如何获取数据源成为了比如何提升数据处理方法更大的问题。

目前国内能够进行脱敏并使用的市场数据的来源主要还是集中在手机、PC等单一渠道与场景中，TalkingData、友盟，以及艾瑞、易观等数据分析及咨询机构很大程度上依赖着这些资源，却也被这些资源所局限。而由于政府数据的敏感性，仅有少数机构能够对接政府数据资源。因此预计随着对数据需求的日益强烈以及数据资源价值被渐渐接受，政府数据资源将会成为数据源的重要组成部分。