运维要失业了？机器学习可自动优化你的数据库管理系统（DBMS）

来源:云头条

原标题：运维要失业了？机器学习可自动优化你的数据库管理系统（DBMS）

作者简介：

达娜·范·阿肯（Dana Van Aken）是卡内基·梅隆大学的计算机学博士生，导师是安德鲁·帕夫洛博士。

安迪·帕夫洛（Andy Pavlo）是卡内基·梅隆大学的计算机学系数据库学助理教授。

杰夫·戈登（Geoff Gordon）是卡内基·梅隆大学的副教授兼机器学习系教育部副主任。

本文是由卡内基·梅隆大学的三位嘉宾达娜·范·阿肯（Dana Van Aken）、安迪·帕夫洛（Andy Pavlo）和杰夫·戈登（Geoff Gordon）共同撰写的文章。该项目演示了学术研究人员如何可以使用AWS Cloud Credits for Research Program（https://aws.amazon.com/research-credits/）来支持其科研突破。

数据库管理系统（DBMS）是任何数据密集型应用系统中最重要的一个部分。它们可以处理大量的数据和复杂的工作负载。但是由于它们有成百上千个配置“按钮”（knob），这些配置按钮控制着诸多因素，比如用于缓存的内存容量和数据写入到存储设备的频次，因而管理起来很难。企业组织常常聘请专家帮助调优活动，不过对许多企业来说专家的成本高得离谱。

OtterTune是由卡内基·梅隆大学数据库小组（）的学生和研究人员开发的一种新工具，它能自动为DBMS的配置按钮找到合适的设置。目的在于让任何人都更容易部署DBMS，甚至是数据库管理方面毫无专长的那些人。

OtterTune有别于其他的DBMS配置工具，原因在于它充分利用从调优之前部署的DBMS获得的知识来调优新部署的DBMS。这大大减少了调优新部署的DBMS所需要的时间和资源。为此，OtterTune维护一个资料库，包含从之前的调优会话收集而来的调优数据。它使用该数据来构建机器学习模型，这些模型采集了DBMS对不同配置作出反应的信息。OtterTune使用这些模型来指导用户针对新的应用程序进行尝试，建议使用改善特定目标（比如缩短延迟或提高吞吐量）的设置。

我们在本文中探讨了OtterTune的机器学习管道的每个组件，并演示了它们彼此如何联系，从而调优DBMS的配置。之后，我们评估了OtterTune对MySQL和Postgres的调优效果：将其最佳配置的性能与数据库管理员（DBA）及其他自动调优工具选择的配置作了一番比较。

OtterTune是由卡内基·梅隆大学数据库小组的学生和研究人员开发的一种开源工具。所有代码都放在GitHub上（https://github.com/cmu-db/ottertune），采用了Apache License 2.0这种许可证来发行。

OtterTune的工作原理

下面这张图显示了OtterTune的组件及工作流程。

在新的调优会话的开始阶段，用户告诉OtterTune优化哪个特定目标（比如延迟或吞吐量）。客户端控制器连接至目标DBMS，并收集Amazon EC2实例类型和当前目标。

然后，控制器开始了第一个观察期，在此期间它观察DBMS，并记录特定目标。观察期结束后，控制器收集来自DBMS的内部度量指标，比如MySQL针对从磁盘读取的页面和写入到磁盘的页面的计数。控制器将特定目标和内部度量指标都返回给调优管理器。

OtterTune的调优管理器收到度量指标后，将它们存储在资料库中。OtterTune使用结果来计算控制器应安装到目标DBMS上的下一个配置。调优管理器将该配置返回给控制器，并通过实际运行来估计预期的改进。用户可以决定继续调优会话，还是终结调优会话。

说明

OtterTune为它支持的每个DBMS版本维护一份按钮黑名单。该黑名单包括没必要调优的按钮（比如DBMS存储文件的路径名称），或者可能有严重后果或隐性后果的按钮（比如可能会引起DBMS丢失数据）。在每次调优会话的开始阶段，OtterTune向用户提供黑名单，那样用户就能添加他们想要OtterTune避免调优的其他任何按钮。

OtterTune作出某些假设，可能会限制其对一些用户而言的用处。比如说，它假设用户拥有管理员权限，让控制器可以修改DBMS的配置。如果用户没有管理员权限，那么他们可以将数据库的第二个副本部署到其他硬件上，以便OtterTune的调优试验。这要求用户重放工作负载跟踪，或者转发来自生产级DBMS的查询。想了解假设和限制方面的完整讨论，atv，请参阅我们的论文（）。

机器学习管道

下面这张图显示了数据在通过OtterTune的机器学习管道传输时如何加以处理。所有观察结果都放在OtterTune的资料库中。

OtterTune先把观察结果传送到Workload Characterization组件。该组件识别一小批最准确地采集性能变化和不同工作负载独特特点的DBMS度量指标。