本文源于今日头条算法工程师曹欢欢的分享，笔者结合自身理解和思考加以总结梳理，力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

　　今日头条用了短短5年时间，成为移动端新闻媒体的独角兽，2016年末，完成10亿美金D轮融资，估值近110亿美元，成功挤入互联网第二梯队。如一句老话所说，世上没有平白无故的成功，当了解了今日头条如何打磨产品功能和交互设计后，笔者发现其成功是必然的，也是有迹可循的，这一切都源于自上而下的数据化思维。

　　本文源于今日头条算法工程师曹欢欢的分享，笔者结合自身理解和思考加以总结梳理，力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

　　本文共分六个模块：

　　一、今日头条前世今生–介绍今日头条近期数据，今日头条的源起

　　二、数据思维做产品–CEO张一鸣如何解读数据思维，详述三个方法论

　　三、数据思维指导算法演化–头条推荐算法概述

　　四、今日头条的A/B测试系统–超级强大的科学实验系统

　　五、需求从何而来？数据收集到何种程度？–科学严谨的实验态度处理需求，收集全量用户行为

　　六、如何低成本完成有效A/B测试–A/B测试的原则，注意事项、实践方法和案例分析

　　介绍方法论之前，我们来看看今日头条究竟有何成功之处。今日头条是一个个性化信息推荐平台，基于大数据和人工智能，做到信息推荐的千人千面，2017年6月数据显示，今日头条日活用户超7700万，月活用户近1.8亿，日均使用时长超76分钟，日均启动次数超13次，如此活跃的数据，出现在一个新闻信息类应用实属罕见。接下来，笔者带着大家来一起探秘今日头条的成功之道——数据思维打磨产品。

　　今日头条从起名字开始就运用了数据思维，创始团队没有头脑风暴，没有投票，没有老大拍板儿，而是采用科学实验的方式，通过数据观测确定了头条的名称。实验方法如下所属：

首先，将appstore上各类免费榜单的前10名整理出来，然后根据名字归类（朗朗上口白话类，内涵情怀类，模拟特殊声音类，公司名+用途类等），分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。

其次，分渠道A/B测试，确定先验效果类似的发布渠道，分别投放，界面功能logo完全一样，统计各个渠道的用户下载和活跃等核心数据指标，《今日头条》效果最好。

　　今日头条CEO张一鸣所定义的数据思维包含三个维度：

收集数据。无偏，全面，客观。

做出决策。根据数据做决策，抛弃主观经验，情感因素，做到客观解释。

高效执行。3个方法论（归纳总结，A/B测试，j2直播，双盲交叉验证）+高效A/B测试系统

　　按照特定维度对目标排序，分析top对象在特定属性上的共同点。

　　2、A/B测试——科学产品观的关键

　　（1）A/B测试定义

　　A/B测试是一种把实验对象随机分组，把一个或多个测试组的表现与对照相比较，进行测试的方式。

　　（2）A/B测试目的

　　通过科学实验设计，在保证采样样本无偏，有代表性的前提下，流量分割与小流量测试等方式，获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。

　　注意事项：测试组和对照组不要设计多个变量同时测，一次实验只设置唯一变量，同时实验组内分小组，尽量保证组间数据随机分布，便于分析数据波动影响。测试前需要定义核心观测指标，通过指标数值变化，确定实验结果的好坏。

　　3、双盲交叉验证——确保信息审核高效快捷

　　交叉验证用得最多的场景是涉及到人工运营的场景，在评估时需要人工介入为文章分类，以保证推荐的准确，那么评估和审核都需要依赖人，人员能力的差异和流动性导致评估和审核标准会变来变去，这就需要机器可以监控人的行为，每个评估的运营人员有自己一个任务队列，把一个要评估的样本至少放到两个以上的评估队列里面去，就意味着一个样本最少有两个人看过，如果他们意见不一致，我们有一个资深的仲裁小组进行仲裁。

　　三、数据思维指导算法演化

　　推荐算法是今日头条产品的灵魂。头条推荐算法是一系列算法的策略的组合，每一个子系统的改进都会对系统整体造成影响。

推荐排序模型：数百亿特征，涵盖你能想到的一切可以帮助做判断的信息。

推荐召回模型：若干策略独立的负责判断，哪些内容有资格进入排序算法。

　　一个排序模型，搭配多个召回模型，通过召回模型做初筛，然后反馈给排序模型，节省99%的处理资源，推荐更快捷。

　　对推荐效果可能产生影响的因素：候选内容集合的变化、召回模块的改进和增加、推荐特征的增加、推荐系统架构的改进、规则策略的改变。

　　四、今日头条的A/B测试系统