异常检测的结果我们会把它以一个图形化的方式展示出来,展示的过程基于一篇论文。最上面是日志数据的维度信息,这是一个搜索的日志,它的维度有搜索来自的国家、搜索目标的国家、搜索来自的渠道和搜索使用的操作系统或者平台的信息。对于这些不同的维度来说,颜色的深浅表示这个维度可能发生异常的概率高低。 上面这个表格,垂直方向是搜索来自国家的维度,横向是一个时间轴,每一个单元格代表这个时间段内国家异常的状况,颜色越深代表异常越严重,比如法国人的搜索在 5 月 15 日产生了异常,所以网格是红色的。如果网格的边缘很宽,表示如果把这个维度定义为法国人搜索的维度之后,那么法国人在搜索的目标国家也会产生很大的异常的可能性,所以可以点击法国人的维度继续检测下一个异常发生的状况。 写在最后 最后总结一下,我们这个日志系统有几个特点:第一个,提供了系统级的检测和报警。第二个,可以量化整个平台的可靠性。第三个,对日志的格式进行规范,能够尽量减少无效性的数据。第四个,引入实时流处理日志能够实时查询。第五个,开发了日志异常检测服务,可以很快地检测出异常发生的状况。 推荐一个活动 【百度 AI 开发者大会】7 月 5 日,Baidu Create 2017 百度 AI 开发者大会将在北京国家会议中心举办。百度创始人、董事长兼首席执行官李彦宏,百度集团总裁兼首席运营官陆奇,将发布面向开发者和生态合作伙伴的重要计划。DuerOS 开放平台、Apollo 开放平台等百度 AI 生态重要战略、技术、业务进展、解决方案,也将首次面向开发者及各行业合作伙伴集中展现,释放生态势能。详情请戳 「 阅读原文 」 今日荐文 一本开源的程序员快速成长秘笈 (责任编辑:本港台直播) |