海数据技术沙龙——Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用 2017-07-28 18:30 来源:TalkingData 大数据 /技术 原标题:海数据技术沙龙——Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用 在大数据以及AI的工程化进程中,商业场景对数据处理的实时反馈能力要求越来越高,传统的离线batch处理机制,已经不能满足商业运营的要求,流式计算框架乘势而起,但存在的问题是如何选择产品,并做到“低延迟,atv,高并发,高吞吐率,高度容错”等优势的流式计算框架呢? 以Twitter为代表的Strom带着流式计算闪亮登场,完美替补了实时计算和分析的空白;而最近热门流式计算框架Flink也是项独特的技术,拥有丰富、高效的各种计算场景,并且支持Apache Beam标准并且统一了流式计算和离线批量计算的新一代流式处理框架。 我们邀请到了这个领域的资深大咖,将与您共同探讨大数据流式计算的各种问题和成功案例! 我们带你深入了解这两大“大势”框架的魅力之处! 活动议程 活动地址: 北京市东城区东直门京投快轨大厦6层608室(TalkingData) 活动时间: 2017-07-29 14:00 ~ 2017-07-29 17:30 具体议程: 14:00 - 14:25 现场签到 14:30 - 15:45Storm/JStorm: 流式计算框架的应用 主 讲 人: 黄鑫 分享内容: 将和大家一起深入了解storm,介绍它的原理和架构,以及它如何保证消息的可靠性、容错性,Exactly Once,和事务的一致性;随后会和大家分享我们如何在工作中用trident特性保证数据库事务的一致性,以及介绍一下阿里的JStorm和Storm的区别。 15:30 -16:45Flink:新一代流式计算框架 主 讲 人: 王剑 分享内容: 主要介绍Flink整体架构、流式处理的特性:Fault Tolerance,分布式数据一致性保证, Backpressure,序列化问题, 内存管理,window机制,监控系统等等。并结合TalkingData数据分析线数据平台的ETL技术架构(Kafka+Flink+Druid)来聊一聊Flink实战的一些事,以及介绍Flink系统的设计、相关特性与实战。 16:50 - 17:30自由交流 分享嘉宾介绍 嘉宾:王剑 东北大学硕士,高级Java工程师,曾在用友软件,Zuora工作,现就职于TalkingData 对分布式高并发的后端服务、支付业务开发以及大数据流式处理flink有较深入研究; 曾在Zuora负责Payment与Accounts Receivable的相关开发工作; 现负责TalkingData数据分析线的实时流式数据的处理与报表服务; 嘉宾:黄鑫(Jason) 资深Java工程师&架构师,曾工作于Oracle,现就职于影合众科技有限公司 入行多年专注于基于Java的分布式高并发后端开发、云平台PaaS层研发和大数据基础体系架构设计; 对JVM、大数据Hadoop体系以及storm流式计算框架有深入研究; 现负责影合众大数据平台的基于流式计算框架的实时BI体系和建模平台; 报名方式 1)会鸽报名地址 2)活动行报名地址 活动主办单位: 活动支持单位: ,atv (责任编辑:本港台直播) |