教程 | 基础入门：深度学习矩阵运算的概念和代码实现

2017-08-07 00:00 来源:机器之心 程序设计

原标题：教程 | 基础入门：深度学习矩阵运算的概念和代码实现

选自Medium

参与：蒋思源

本文从向量的概念与运算扩展到矩阵运算的概念与代码实现，对机器学习或者是深度学习的入门者提供最基础，也是最实用的教程指导，为以后的机器学习模型开发打下基础。

在我们学习机器学习时，常常遇到需要使用矩阵提高计算效率的时候。如在使用批量梯度下降迭代求最优解时，正规方程会采用更简洁的矩阵形式提供权重的解析解法。而如果不了解矩阵的运算法则及意义，甚至我们都很难去理解一些如矩阵因子分解法和反向传播算法之类的基本概念。同时由于特征和权重都以向量储存，那如果我们不了解矩阵运算，代码实现将变得十分艰难。

什么是线性代数？

在深度学习中，线性代数是一个强大的数学工具箱，它提供同时计算多维数组的方法。线性代数不仅会提供如同向量和矩阵那样的结构来储存这些数字，还会提供矩阵的加、减、乘、除和其他运算规则。

线性代数为什么如此实用？

线性代数将复杂问题转变为简单、直观和高效的计算问题。下面的例子可以表明实现同样的功能，线性代数的代码表达是如何的简洁与美观。

# Multiply two arrays

x = [1,2,3]

y = [2,3,4]

product = []

for i in range(len(x)):

product.append(x[i]*y[i])# Linear algebra version

x = numpy.array([1,2,3])

y = numpy.array([2,3,4])

x * y

线性代数怎样应用到深度学习？

神经网络将权重储存在矩阵当中。而线性代数特别是在 GPU 上，可以对矩阵进行简单迅捷的计算处理。实际上，GPU 的设计就是源于向量和矩阵计算处理的基本概念。这和图像由像素块阵列构成，视频游戏使用巨量、连续展开的矩阵生成引人注目的游戏体验是一样的。GPU 会并行地操作整个矩阵里元素，而不是一个接一个地处理。

向量

向量由数字或其它项组成的一维阵列。在几何学中，向量储存了空间中一个点潜在的改变方向。向量 [3，-2] 也就代表着原点向（3，-2）这一点运动的趋向。若向量所具有的维度超过一维，那么就称之为矩阵。

向量的符号表示

有很多符号方式都能表示向量，下面是在本篇文章中你可能会遇到的：

几何学中的向量

向量一般表征着一个点的运动，一个向量同时储存其潜在变化的方向和大小。如下图所示，在平面空间中画出了向量 [-2，5]，因为向量只储存了方向和大小，那么平移并不会改变向量的值，所以所有平移的向量（方向和大小不变）都是相等的。

标量运算

标量运算即为向量和数字间的运算。向量与数的运算就是向量内每一个元素与这一个数进行相应的运算。如下图的一个标量运算：

向量间运算

在向量间的运算中，对应位置的值可以组合而产生一个新向量。第一个向量的第 i 个值只与第二个向量的第 i 个值相匹配。这也就意味着向量之间的维度必须相等才能进行运算。下图表明向量之间的加减法是对应元素之间的加减，代码表明了向量之间的加减和除法。

y = np.array([1,2,3])

x = np.array([2,3,4])

y + x = [3, 5, 7]

y - x = [-1, -1, -1]

y / x = [.5, .67, .75]

在 numpy 中，如果向量是一维的，那么他就能看作是一个标量，与其他多维向量的运算就相当于一个数。

向量乘法

向量的乘法有两种类型：一种是点积，另一种是 Hadamard 积。

点积

两个向量的点积结果是一个标量。向量和矩阵（矩阵乘法）的点积在深度学习中是最重要的运算之一。

Hadamard 积

Hadamard 积是元素之间的乘积，并得出一个向量。从下图可以看出来 Hadamard 积就是将向量对应元素相乘积。

y = np.array([1,2,3])

x = np.array([2,3,4])

y * x = [2, 6, 12]

向量场