本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

报码:【j2开奖】这家数据公司为什么能成为数百万企业的选择?(2)

时间:2017-03-06 09:48来源:本港台直播 作者:本港台直播 点击:
在业务的演进和纵深的情况下,需要技术在背后予以很大的支撑,同时也需要技术能与业务并进。【友盟+】在以下三方面进行了技术上的调整和优化: 数

在业务的演进和纵深的情况下,需要技术在背后予以很大的支撑,同时也需要技术能与业务并进。【友盟+】在以下三方面进行了技术上的调整和优化:

  数据采集端的演进、后端计算的优化

在数据采集端的持续积累和演进上,它从之前较为简单的采集方案、采集协议,演化成今天所具备的如虚拟机探测方案等较为完善的反作弊方式。同时,随着数据量级的扩增,后端计算也经历了类似的演进,从最初较小体量的计算,到拥有上千台机器的大规模Hadoop集群,再逐渐迁移到阿里云的StreamCompute、MaxCompute大型云计算平台上,【友盟+】根据数据量大、计算复杂等特定情况进行了大量优化和改造。

不断发展的过程,数据量也开始呈现指数型增长态势,每年平均会翻好几倍,再加上计算任务复杂程度和任务个数的提升,导致了后端计算的巨大压力。早期时采用的是当时较为成熟且使用广泛的一些开源框架,比如Hadoop、Storm、Kafka、Spark、Elasticsearch等。随着业务的扩展,【友盟+】更多的采用了阿里云方案,由于稳定性和成熟度等优点,阿里云技术体系也在逐渐取代其曾经的开源系统。

  将数据挖掘结果用于技术方案的优化

在数据累积的过程中,【友盟+】开始将数据挖掘的结果用于其自身的计算体系及技术体系优化。针对采集的海量网页内容,技术团队建立了一套数据模型体系,来区分哪些设备、哪些网站和哪些流量存在异常,比如监测出涉及作弊作弊的流量和客户端 。对于电商、支付平台、O2O及互联网广告系统来说,反作弊在本质上发挥着反欺诈、杜绝虚假买卖、保证广告主利益等作用。但作为一项核心技术,几乎所有的公司都会对自己的反作弊技术讳莫如深,研发一套反作弊规则和系统也需要很深的技术积淀。

这一点上,【友盟+】的母公司阿里巴巴在电商反作弊已形成了一整套监控预警、识别分析、处罚管控的多维度监管机制,特别是在对虚假交易的数据监控和算法识别上就应用了大规模图搜索技术。因而【友盟+】在这方面有一些技术优势和先天基因。去年的双十一当天,【友盟+】监测到的广告投放量达34亿多,通过反作弊进行流量过滤后识别出约七千多万条的异常点击。而这一过程也相当于为广告主节省了三千多万广告投放费用(按照0.5元一次点击计算)。

  3多条业务线同步推进的情况下,如何统一技术栈?

【友盟+】在业务方向和技术架构上做的规划和统一,同样具有一些借鉴意义。

叶谦说,2017年【友盟+】将主要在三个维度上做新的业务规划,一是互联网应用数据业务,二是拓展新零售数据业务,三是发力广告营销数据业务。 技术方面的调整则会围绕着技术栈统一来展开,主要有四点:开发语言统一,开发框架的统一,atv,通用技术组件的统一以及底层平台的统一。统一的结果不仅能使开发效率提升、稳定性增强、运维成本降低,同时也能在一定程度上缩减核心硬件成本。

以统一开发语言为例,之前所采用的开发语言非常多,比如Python、Java、Scala、Ruby、PHP等。而统一后,所有研发团队会独立使用Java。在叶谦看来,Java是这几种语言中相对最成熟,因而也会围绕Java开发语言来选择较为成熟的开发框架。例如,会统一使用Spring Framework作为前端开发框架。另外,在技术组件的统一上,【友盟+】也选择了经过阿里集团多年双11检验的、能够承载大数据量高吞吐和高并发,具有极高稳定性和较大可扩展性的通用技术组件。2016年双十一期间就用到了阿里集团提供的能支撑庞大数据量的一些通用组件,如:阿里云的MaxCompute。

但总的来说,统一技术栈这件事在任何公司都不可能一蹴而就、一帆风顺。在这个过程中,各技术团队势必会经历一定程度上的心理斗争。因为对于任何技术人而言,改变他所习惯的语言、开发框架,就是对其舒适区的挑战。如何让不同的团队成员走出原有的固定模式,认可技术栈统一的价值,形成统一的认识,是推动技术向前、个人成长的一个最重要的契机。

叶谦认为,当大家逐渐认识到技术栈统一的价值之后,后续的研发推动才能顺理成章,比如:大家一起来选择更成熟技术方案、更成熟的技术体系和更成熟的组件等。

  4用数据为客户提供真正的价值

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容