Ted 介绍了 MapR Edge,这是一个专为物联网设计的平台,用于收集、处理和分析靠近源的 loT 数据,atv,同时通过中央服务器共享关键的量度(metrics)。Niantic CTO Phil Keslin 在采访中分享了推出 Pokemon GO 的经验。Phil 提到,Keyhole 的经验帮助他们更好地了解地球,这在实际地理空间类的游戏中具有关键作用。Keyhole 团队主要使用20世纪90年代的卫星数据,这些数据在当年算是非常庞大,压缩后也有7TB。 Pokemon GO 的这个分布式基础架构是4名核心服务器工程师构建的。这支团队从强大的架构开始,用 Ingress 进行了一些实验,并做好了扩大规模的准备。Phil 说,与其说是一个“大数据”挑战,Pokemon GO 更像是一个“大计算”挑战。Pinterest 首席科学家 Jure Leskovec(同时也是斯坦福大学教授)解释了“实时向100M +用户推荐1B +条目”的机制:利用用户 - 对象图表(user-to-object graph)的结构规模化地提取排名信号。在 Pinterest 上部署的现代推荐系统(名为 Pixie)分为两个阶段:①候选人生成;②排名。候选人生成采用用户查询和侯选库(1B+条目,如pins,boards 等)作为输入,并列为 1K 的候选人名单。然后,基于机器学习的排名模块处理这 1K 候选人以生成一个有排序的推荐列表。该排名模块通过 RandomWalks 实现个性化的 PageRank,类似谷歌搜索的 PageRank。
为了实现“实时”的速度,Pinterest 图表需要完全加载到内存中,但由于具有 +100B 的边线(edges),这几乎是不可能的。因此,使用修剪策略(pruning strategies)以压缩图表是自然的选择。这是的图表可以适应约 100GB 的 RAM。这种架构可以为各种应用用例提供灵活的个性化功能。 深度学习的寒武纪大爆发 有一位讲者用“寒武纪大爆发”这个词形容我们目前经历的深度学习和AI的直线增长。这个词最早是由 DARPA 负责机器人挑战项目的 Gill Pratt 提出来的。 如果你还记得一点地球史,就知道单细胞生物曾霸占地球数十亿年,直到5亿年前的寒武纪初,多样化生物忽然如同爆炸一样出现。学术上的解释是,非常小的变化,比如视觉器官的进化,改变了生物的活动区域,新能力的运用推动了其他能力的发展。最终,人类诞生了。 所以当数据科学家小心翼翼地谈论起AI奇迹时,也按耐不住谈起深度学习带来的新能力时的兴奋之情。这听上去有点儿矛盾,但不妨这么想:深度学习就是给我们带来新的能力的一组工具,其中最受欢迎的包括CNN、RNN、GAN以及RL。所有这些都是深度学习的分支,可以经由诸如 TensorFlow、MXNet、Theano、Torch等等这样的深度学习平台来使用。深度学习平台的出现可能就是触发AI爆发的小小变革。 原文地址: (责任编辑:本港台直播) |