μ和σ的表达式如下，其中 K 和 k 是由正定核推导出的核矩阵和向量。具体来说，K_ij=k(x_i，x_j) 为 t 乘 t 阶矩阵，k_i=k(x_i，x_t+1) 为 t 维向量。最后，y 为观察样本值的 t 维向量。

上面的概率分布表明在拟合数据后，样本点 x 的预测值 y 成高斯分布。并且该高斯分布有样本均值和样本方差这两个统计量。现在为了权衡开发和探索，我们需要选择下一点到底是均值较高（开发）还是方差较大（探索）。

采集函数

为了编码开发探索之间的权衡，我们需要定义一个采集函数（Acquisition function）而度量给定下一个采样点，到底它的效果是怎样的。因此我们就可以反复计算采集函数的极大值而寻找下一个采样点。

随着样本增加，不同的采集函数和曲线拟合的对比。

上置信边界

也许最简单的采集函数就是采取有较高期望的样本点。给定参数 beta，它假设该样本点的值为均值加上 beta 倍标准差，即：

通过不同的 beta 值，我们可以令算法倾向于开发还是探索。

提升的概率

提升采集函数概率背后的思想，即我们在最大化提升概率（MPI）的基础上选择下一个采样点。

高斯过程的提升概率。

在上图中，最大观察值是在 x*上的 y*，绿色区域给出了在 x_3 点的提升概率，而 x_1 和 x_2 点的提升概率非常小。因此，在 x_3 点抽样可能会在 y*的基础上得到提升。

其中Φ(x) 为标准正态分布函数。

贝叶斯优化过程

上图可以直观地解释贝叶斯优化。其中红色的曲线为实际的目标函数，并且我们并不知道该函数确切的表达式。所以我们希望使用高斯过程逼近该目标函数。通过采样点（上图有 4 个抽样点），我们能够得出直观或置信曲线以拟合观察到的样本点。所以上图绿色的区域为置信域，即目标曲线最有可能处于的区域。从上面的先验知识中，我们确定了第二个点（f+）为最大的样本观察值，atv，所以下一个最大点应该要比它大或至少与之相等。因此，我们绘制出一条蓝线，并且下一个最大点应该位于这一条蓝线之上。因此，下一个采样在交叉点 f+和置信域之间，我们能假定在 f+点以下的样本是可以丢弃的，因为我们只需要搜索令目标函数取极大值的参数。所以现在我们就缩小了观察区域，我们会迭代这一过程，直到搜索到最优解。下图是贝叶斯优化算法的伪代码：

论文：Taking the Human Out of the Loop: A Review of Bayesian Optimization

地址：

摘要：大数据应用通常和复杂系统联系到一起，这些系统拥有巨量用户、大量复杂性软件系统和大规模异构计算与存储架构。构建这样的系统通常也面临着分布式的设计选择，因此最终产品（如推荐系统、药物分析工具、实时游戏引擎和语音识别等）涉及到许多可调整的配置参数。这些参数通常很难由各种开发者或团队具体地编入软件中。如果我们能联合优化这些超参数，那么系统的性能将得到极大的提升。贝叶斯优化是一种联合优化超参数的强力工具，并且最近也变得越来越流行。它能自动调节超参数以提升产品质量和人类生产力。该综述论文介绍了贝叶斯优化，并重点关注该算法的方法论和列举一些广泛应用的案例。

原文地址：

https://cloud.google.com/blog/big-data/2017/08/hyperparameter-tuning-in-cloud-machine-learning-engine-using-bayesian-optimization

https://medium.com/towards-data-science/shallow-understanding-on-bayesian-optimization-324b6c1f7083