TalkingData DTU-COE 卓越中心数据工程师

赵志刚

　　概括介绍

　　我先简单介绍一下TalkingData，TalkingData是一家独立的第三方数据服务提供商，我们的客户都是ToB的，我们为他们提供基于数据的集成服务。以往，是由我们平台的服务提供商各自去为客户提供服务，产生的问题就是服务调用是各异的。正是基于这个问题，所以使我们萌生了去做智能数据交易市场平台的构想，进行标准化、在线化。我们的平台就简称SDMK。

　　这是我们线上监测两类典型场景，我们的用户一种是不定时不定期的，有一个业务马上就即刻调用服务，能调多少就马上调多少的。另外一种是相对比较理性的，会定期定时来调用我们的这些在线数据服务。

　　这里需要简单介绍一下我们现在的量级，我们的接入服务有我们自己的，也有其他合作伙伴的。整体有超过四百个以上的服务。我们监测到的最大单天调用量是超过3亿，日均调用量是4500万，我们最大的并发超过6000。从我们最开始接入到现在，量级提升近百倍且我们的服务是从入口监测到的调用，每一个调用都会经历五到六个服务的调用。

　　为了让大家能够理解我后面的架构图，简单说一下业务流程，用户调用前先申请一个临时的身份Client，带着这个Client来进行认证、计量、调用具体的第三方数据服务，调用之后再由我们的计量模块实时的把调用信息记录下来，为第一次调用形成统计数据。这也是我们的主业流程。

　　因为今天的主讲内容是微服务，所以我准备了这样一张图来说一下我们团队在实践微服务过程中体会到的一些好处，首先就是小团队的快速开发和维护，因为现在的软件开发已经不是说以前那种大团队、大周期的开发了。这种小团队，沟通成本和开发迭代的成本都相对比较小。第二个就是技术多样性，我们团队每个成员的技术偏好都是不一样的，这非常适合团队内技术的多样性考量。另外就是能够独立进行演进，每个模块之间都不会有过分的依赖，可以独自开发，只要你能符合之前的接口契约就没问题。

　　当然，在微服务过程中一定会有一些较为麻烦的事情，比如说增加了调用开销。这个开销不是说不同服务平台的调用成本，现在这种网络技术的开销很小了。主要是把进程内的调用挪到进程外，要考虑超时怎么处理、故障出了问题怎么重试、怎么降级，你的开销势必要增加。另外一个是分布式系统，比如数据一致性要考虑怎么处理调试和管理。现在全是不同的服务，怎么来协调同一个版本下的调试，还有包括这种服务多了以后的管理，这是一个挺大的挑战。

　　开发历程

　　下面进入我们的主题，来讲讲这七个月来都经历了哪些事情。虽然时间比较短，但也是三个阶段。最开始是最小功能级，我们先把这个产品推出去，能让用户调用了，BD和产品也满意，这是我们开发先要做的事情。第二个就是快速迭代。到了第三阶段，开奖，也就是现在。系统化的去考虑一下我们怎么去重构我们的架构，去解决我们可能会遇到的一些问题。

　　我先说一下第一阶段，这是我们最简单的一个功能，没有任何其他的东西。这里面还是有几个事要说，一个是我们拿了以前的项目，直接用了一个做认证的小服务。另外一个是我们用ES来做用户调用量的存储，去定期的从我们的调用网关上拿用户的调用数据，同时计量信息会实时的从ES里面去拿计量的数据。比较熟悉ES的人，知道这会是一个大坑。还有一个，为了简单，我们把路由器配的一些信息包括服务的一些适配器，因为我们的服务调用各异、认证各异，为了统一接口，我们把适配器也做到这里面。这也是一个坑。