在之前我们尝试了用多臂老虎机模型（Multi-Armed Bandit，MAB）来根据用户反馈学习排序策略，结合exploration与exploitation，收到了较好的效果。

　　后来更进一步，在原来的基础上引入状态的概念，用马尔可夫决策过程对商品搜索排序问题进行建模，并尝试用深度强化学习的方法来对搜索引擎的排序策略进行实时调控。

　　实际上，如果把搜索引擎看作智能体（Agent）、把用户看做环境（Environment），则商品的搜索问题可以被视为典型的顺序决策问题。Agent每一次排序策略的选择可以看成一次试错（Trial-and-Error），把用户的反馈，点击成交等作为从环境获得的奖赏。在这种反复不断地试错过程中，Agent将逐步学习到最优的排序策略，最大化累计奖赏。而这种在与环境交互的过程中进行试错的学习，正是强化学习（Reinforcement Learning，RL）的根本思想。

　　本文接下来的内容将对具体的方案进行详细介绍。

　　2.颠覆传统的电商智能助理-阿里小蜜技术揭秘

　　作者：海青

　　阿里小蜜是电子商务领域的智能私人助理，基于阿里海量消费和商家数据，结合线上、线下的生活场景需求，以智能+人工的模式提供智能导购、服务、助理的拟人交互业务体验。

在跨终端、多场景领域支持多轮交互、多模交互(文本、语音和图像)和问题推荐预测；

支持多模型(文本模型、客户模型、语音识别和图像识别)识别客户意图；

支持多领域识别和路由分流；

　　阿里小蜜整体体系图如下：

　　通过1年多阿里小蜜在阿里业务体系内的不断尝试和摸索，今年在电子商务生态圈范围内，在基于千牛的买卖家生态圈、基于钉钉的企业生态圈上，我们将阿里小蜜进行平台化开放，同时赋能给我们商家和企业用户。未来我们期望通过不断的领域数据和技术模型的积累，能够在阿里其他生态圈(例如：阿里云)逐步进行开放，赋能更多电子商务生态圈领域。

　　阿里小蜜平台结构图如下：

　　阿里小蜜在各个领域系统示例截图：

　　3.深度学习与自然语言处理在智能语音客服中的应用

　　作者： 余慈

　　95188电话的支付宝热线目前已经用纯语音交互流程全面代替了传统的按键流程，这个我们称之为“蚁人”的智能语音客服会根据用户的描述判断用户的意图，从而为不同需求的用户提供快速的直达服务，或者直接推送自助解决方案，或者发现是属于紧急问题而直接转给对应业务线的人工客服处理。智能语音客服流程目前日均处理话务占整体话务数的91%，覆盖上百类业务线以及上千类问题，以超过70%的问题识别准确率日均成功为客服分流话务上万通，极大节省了客服人力资源，缩短话务高峰期的用户等待时间，提升了用户体验。在双11当天蚁人处理超过20万通电话，为双11业务提供强有力的支持。

　　蚁人流程的交互如下：

用户拨打95188，按1进支付宝

系统会提示用户用一句话描述所遇到的问题

用户在电话里描述他（她）想要解决的问题，比如支付宝密码忘记了等

系统会把用户语音输入转成文本，然后调用问题识别模块

对话管理模块（DM）根据识别结果有不同的路径：

识别出用户要求人工客服，或者需要人工处理的业务类（例如安全问题），就会转到所对应的业务线的客服处理。

识别出的业务可以自助解决，系统就会播放TTS给用户：“我想您遇到的问题是XXXX，请说’正确’，或者’错误’”。

识别失败，会进入多轮交互流程，进一步向用户提问并获得回答以帮助问题识别。

(责任编辑：本港台直播)