深度学习中的“深度”指的是 神经网络中的层数。这个系统的良好性质是一组简单的可以训练的数学函数集合。深度神经网络适用于很多机器学习风格。

　　比如你给输入一张猫的图片，输出是人工标记的猫图片，这是 监督学习。你把很多这样监督样本给系统，让它去学习近似的函数，如同从监督样本中观察出来的。

　　还有一种是非监督学习，给出一个图片，你也不知道里面是啥，系统可以学习去寻找在很多图片中出现的模式。这样即使不认识图片，它也能识别所有的图片中都有一只猫。

　　增强学习也适用，这也是AlphaGo用到的技术。

　　什么是深度学习?

　　深度网络模型是类似于大脑行为的原理。但不是具体模拟神经元如何工作。而是一种简单抽象的神经元版本。

　　神经元有一组输入。真正神经元会有不同的强度的输入。在人工智能网中试图去学习到这些边上的权重，去加强不同输入的联系。真正神经元通过输入和强度的组合去决定要不要生成脉冲。

　　人工神经元不会产生脉冲，但会生成一个数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。

　　典型的非线性函数就是整形线性单元(max(0, x))，在90年代很多非线性函数是很平缓的sigmoid()函数或者tanh()函数。但对于神经元来说产生的数值是不是更接近0对优化系统更有利。比如如果神经元有3个输入 X1, X1, X3，权重分别是 -0.21, 0.3, 0.7,计算就是

　　y = max(0, -.0.21*x1 + 0.3*x2 + 0.7*x3)。

　　为了决定图片到底是猫还是狗，这个图片要经过很多层。这些神经元根据输入来产生下一步。

　　最低层的神经元会查看像素的小块。更高层的神经元会看下层神经元的输出再决定是否生产。

　　这个模型也会错，比如说这里是猫，但事实上是狗。那么做错误决定的信号就会返回到系统中做调整，让剩余的模型在下一次查看图片时候，更可能输出狗。这就是神经网络的目标，通过模型小步调整边的权重让它更可能去得到正确答案。你可以通过所有样本去聚合，这样可以降低错误率。

　　学习算法其实比较简单如下

选择随机训练样本“(输入，标签)”，比如上面猫图和想要的输出标签，‘猫’

运行神经网络，在输入上去查看它产生的。

调整边的权重让最后输出更接近于“标签”上的。

　　如何调整边的权重去保障输出更接近于标签呢?

　　反向传播：积分的链式法则在决定高层神经网络中使用，如果选择是猫而不是狗呢?得想办法去调整高层的权重去让它更可以决定是“狗”。

　　根据箭头方向和权重去让它更可能说是狗。不要步子迈得太大因为这种表面很复杂，微调一小步让它下次更可能给出狗的结果。通过很多迭代以及查看例子，结果更可能会是狗。通过这个链式法则去理解底层参数改变是如何影响到输出的。说白了就是网络变化回路反馈到输入，使得整个模型更适应去选择“狗”。

　　权重的微调

　　真正神经网络通过亿级的参数在亿级的维度做调整，去理解输出网络。Google目前有能力如何快速搭建和训练这些海量数据上的模型，去解决实际问题，在快速去不同广泛的平台去部署生产模型(手机，传感器，云端等)。

　　神经网络的奇妙特性

　　就是说神经网络可以用在很多不同问题上。

文本：万亿级别的英文和其开奖直播语言资料。从一个语言翻译到另一个，从短语到整句。

虚拟化数据：十亿级别的图谱，视频。

语音：每天都产生万小时的资料。

用户行为: 很多应用产生数据。比如搜索引擎的查询，用户在email中标记垃圾。这些都可以学习并搭建智能系统。

知识图谱：十亿级别的标签化关系元组。

　　如果吸收更多数据，让模型变大，结果也更好。