|
2017-07-29 12:11 来源:机器之心 数据分析 /设计 /大数据 选自DataConomy 近日，Ramesh Dontha 在 DataConomy 上连发两篇文章，扼要而全面地介绍了关于大数据的 75 个核心术语，这不仅是大数据初学者很好的入门资料，对于高阶从业人员也可以起到查漏补缺的作用。本文分为上篇（25 个术语）和下篇（50 个术语）。机器之心对文章进行了编译，原文链接请见文末。 上篇（25 个术语） 如果你刚接触大数据，你可能会觉得这个领域很难以理解，无从下手。不过，你可以从下面这份包含了 25 个大数据术语的清单入手，那么我们开始吧。 算法（Algorithm）：算法可以理解成一种数学公式或用于进行数据分析的统计学过程。那么，「算法」又是何以与大数据扯上关系的呢？要知道，尽管算法这个词是一个统称，但是在这个流行大数据分析的时代，算法也经常被提及且变得越发流行。 分析（Analytics）：让我们试想一个很可能发生的情况，你的信用卡公司给你发了封记录着你全年卡内资金转账情况的邮件，如果这个时候你拿着这张单子，开始认真研究你在食品、衣物、娱乐等方面消费情况的百分比会怎样？你正在进行分析工作，你在从你原始的数据（这些数据可以帮助你为来年自己的消费情况作出决定）中挖掘有用的信息。那么，如果你以类似的方法在推特和脸书上对整个城市人们发的帖子进行处理会如何呢？在这种情况下，我们就可以称之为大数据分析。所谓大数据分析，就是对大量数据进行推理并从中道出有用的信息。以下有三种不同类型的分析方法，现在我们来对它们分别进行梳理。 描述性分析法（Deive Analytics）：如果你只说出自己去年信用卡消费情况为：食品方面 25%、衣物方面 35%、娱乐方面 20%、剩下 20% 为杂项开支，那么这种分析方法被称为描述性分析法。当然，你也可以找出更多细节。 预测性分析法（Predictive Analytics）：如果你对过去 5 年信用卡消费的历史进行了分析，发现每年的消费情况基本上呈现一个连续变化的趋势，那么在这种情况下你就可以高概率预测出：来年的消费状态应该和以往是类似的。这不是说我们在预测未来，而是应该理解为，我们在「用概率预测」可能发生什么事情。在大数据的预测分析中，数据科学家可能会使用先进的技术，如机器学习，和先进的统计学处理方法（这部分后面我们会谈到）来预测天气情况、经济变化等等。 规范性分析（Preive Analytics）：这里我们还是用信用卡转账的例子来理解。假如你想找出自己的哪类消费（如食品、娱乐、衣物等等）可以对整体消费产生巨大影响，那么基于预测性分析（Predictive Analytics）的规范性分析法通过引入「动态指标（action）」（如减少食品或衣物或娱乐）以及对由此产生的结果进行分析来规定一个可以降低你整体开销的最佳消费项。你可以将它延伸到大数据领域，并想象一个负责人是如何通过观察他面前多种动态指标的影响，进而作出所谓由「数据驱动」的决策的。 批处理（Batch processing）：尽管批量数据处理从大型机（mainframe）时代就已经存在了，但是在处理大量数据的大数据时代面前，批处理获得了更重要的意义。批量数据处理是一种处理大量数据（如在一段时间内收集到的一堆交易数据）的有效方法。分布式计算（Hadoop），后面会讨论，就是一种专门处理批量数据的方法。 Cassandra：是一个很流行的开源数据管理系统，由 Apache Software Foundation 开发并运营。Apache 掌握了很多大数据处理技术，Cassandra 就是他们专门设计用于在分布式服务器之间处理大量数据的系统。 云计算（Cloud computing）：虽然云计算这个词现在已经家喻户晓，这里大可不必赘述，但是为了全篇内容完整性的考虑，笔者还是在这里加入了云计算词条。本质上讲，软件或数据在远程服务器上进行处理，并且这些资源可以在网络上任何地方被访问，那么它就可被称为云计算。 (责任编辑：本港台直播) |