练习 1：将 10 个整数映射到 10 个整数的所有可能函数有多少？例如，令 f(x) 是输入变量取数字 0 到 9 且输出为数字 0 到 9 的函数。例如模拟其输入的恒等函数（identity function），如 f(0)=0，f(1)=1，依此类推。还存在多少其它的函数？

答案：10^10=10000000000

如何判断回归算法可行？

假设我们正在向房地产公司兜售房地产市场预测算法。该算法在给定一些如卧室数量、公寓面积等房屋属性后能够预测房产的价格。房地产公司可以利用房价信息轻松地赚取数百万美元，但是在购买算法之前他们需要一些算法可行的证据。

衡量训练后的算法是否成功有两个重要指标：方差（variance）和偏差（bias）。

方差反映的是预测值对于训练集的敏感度（波动）。我们希望在理想情况下，训练集的选择对结果影响很小——意味着需要较小的方差值。

偏差代表了训练集假设的可信度。太多的假设可能会难以泛化，所以也需要较小的偏差值。

一方面，过于灵活的模型可能导致模型意外地记住训练集，而不是发现有用的模式特征。你可以想象一个弯曲的函数经过数据集的每个点而不产生错误。如果发生这种情况，我们说学习算法对训练数据过拟合。在这种情况下，最佳拟合曲线将很好地拟合训练数据；然而，当用测试集进行评估时，结果可能非常糟糕（参见图 3）。

图 3. 理想情况下，最佳拟合曲线同时适用于训练集和测试集。然而，如果看到测试集的表现比训练集更好，那么我们的模型有可能欠拟合。相反，如果在测试集上表现不佳，而对训练集表现良好，那么我们的模型是过拟合的。

另一方面，不那么灵活的模型可以更好地概括未知的测试数据，但是在训练集上表现欠佳。这种情况称为欠拟合。一个过于灵活的模型具有高方差和低偏差，而一个不灵活的模型具有低方差和高偏差。理想情况下，我们想要一个具有低方差误差和低偏差误差的模型。这样一来，它们就能够概括未知的数据并捕获数据的规律性。参见图 4 的例子。

图 4. 数据欠拟合和过拟合的例子。

具体来说，模型的方差是衡量响应的波动程度有多大的一个标准，偏差是响应与实际数据相差的程度。最后，希望模型达到准确（低偏差）和可重复（低方差）的效果。

练习 2：假设我们的模型为 M(w)：y=wx。如果权重 w 的值必须为 0-9 之间的整数，则有多少个可能的函数？

答案：只有 10 种情况，即 { y=0，y=x，y=2x，...，y=9x }。

为了评估机器学习模型，我们将数据集分为两组：训练集和测试集。训练集用来学习模型，测试集用来评估性能。存在很多可能的权重参数，但我们的目标是找到最适合数据的权重。用来衡量「最适合」的方式是定义成本函数（cost function）。

线性回归

让我们利用模拟数据来进行线性回归。创建一个名为 regression.py 的 Python 源文件，并按照列表 1 初始化数据。代码将产生类似于图 5 的输出。

列表 1：可视化原始输入

　　importnumpy asnp //#Aimportmatplotlib.pyplot asplt //#Bx_train =np.linspace(-1, 1, 101) //#Cy_train =2 * x_train +np.random.randn(*x_train.shape) *0.33//#Dplt.scatter(x_train, y_train) //#Eplt.show() //#E

# A：导入 NumPy 包，用来生成初始化的原始数据

# B：使用 matplotlib 可视化数据

# C：输入值为 -1 到 1 之间的 101 个均匀间隔的数字

# D：生成输出值，与输入值成正比并附加噪声

# E：使用 matplotlib 的函数绘制散点图

图 5. 散点图 y=x+ε，ε 为噪声。

现在你可以利用这些数据点尝试拟合一条直线。在 TensorFlow 中，你至少需要为尝试的每个候选参数打分。该打分通常称为成本函数。成本函数值越高，模型参数越差。例如，如果最佳拟合直线为 y=2x，选择参数值为 2.01 时应该有较低的成本函数值，但是选择参数值为 -1 时应该具有较高的成本函数值。