在做一些 inference 应用场景下，可能要用到 CUDA 平台，英伟达提供了基于 GPU 的编程平台，供大家使用、编写自己的 GPU 应用程序，整个应用程序的计算部分占的很少，但是计算时间可能占了程序的 95%，只需要把这部分放到 GPU 端去处理，这样整个编程模式，蓝颜色的交给 CPU 去处理，atv，到了绿颜色部分拷贝到 GPU 端，通过 GPU 来去做加速，加速完成，把相应的结果再拷贝到 CPU 端做处理。如果说你有一些算例，适合于刚才所说的计算模式，又想放到 GPU 上来去做，可以通过 CUDA 平台来去实现，如果没有现有的 SDK 的话，这种实现方式是个很高效的方式；如果是说你有一些像现有的这种 SDK，还是用 SDK 会更加方便一些。

GPU 在深度学习的应用

训练端有一部分虚拟集，丢给一个 GPU 的集群去做训练，通过大量的虚拟集不断的迭代，让深度神经网络达到认知的职能，这是训练端的任务。

训练端有一些特性，比如说在训练的过程中，可以设置一个很大的一个 branch，一次可以丢给 GPU 很多的图片，或者是云的虚拟机，充分的把 GPU 内存占领；训练的任务可能是并行式的任务，每个进程之间会有一些频繁的虚拟交换，尽可能的把任务压缩在一个结点内部，或者说把通讯这种结点之间，或者 CPU 之间的通讯要尽可能的压缩在一个 GPU 内部来去做。如果是说任务非常大，我们可以采用 GPU 的集群方式来做，GPU 集群也需要一个高速的网络带宽，高速的链路来加速结点之间的数据交换。所以说在训练端，总体的任务比较繁重，同时算模式也比较密集。

训练好的模型，或者深度神经网络，可以传输到虚拟中心或者云端，或者到一些刚提到的智能的嵌入式设备上去做智能的设备识别，这部分叫做 inference，就是提供一些 AI 的服务，比如说提供一些图片分类的服务，客户上传一张图片，通过这个 AI 的服务，经过检验的处理，就可以去识别到这张图片的种类，在这样的应用场景下，我们要考虑到几个问题：第一要实时的反映客户的请求，要保证它的延迟；另外可以打包一个这个 branch，把很多的虚拟丢给 GPU 去做处理，在很多这种场景下需要保证客户的延迟，一般就是把一两张图片，或者是 16 张图片丢给 GPU 去处理，快速的给客户一个结果，这种场景相对来说是比较小的，在这种场景下，需要一个相对于训练端来说更小的 GPU 来去做这种 inference 计算模式，这样才能更好的去提线上集成的效率。

我们之所以选择 GPU 是因为它相比较于其他的计算平台有很强的优势。看 CPU 跟 GPU 的一个对比：深度学习应用方面，GPU 跟 CPU 无论在预算花费上、结点的数量上、功耗上，最关键的是在性能上面都有很强的优势，所以说客户选择 GPU 平台对客户带来的价值，是显而易见的，既能降低成本，又能提升效率，而且在目前，在一些大的数据中心内部，都可以看到 GPU 的存在，像亚马逊、谷歌，国内的阿里云、百度等等。一些互联网公司在虚拟中心内部都有 GPU 的集群，来提供训练跟线上的 inference 的服务。

再往上层就是应用的 SDK，如果想把 GPU 的硬件用的更好，SDK 肯定是非常重要的，SDK 都是由英伟达方面来提供。经过了性能优化，客户不用再关心底层的 GPU 算法的实现方式。

英伟达可以提供这种基于 GPU 的一整套的生态环境，这种平台可以帮助客户快速的去使用 GPU 的计算性能，从而加速深度学习的应用。

主流 GPU 如何选择

要挑选一款 GPU，首先应该了解 GPU 大概的性能，或者是说它的特点。目前主流的 GPU 架构是 Pascal，它也是目前在市场上最新的 GPU 架构。Pascal 架构的特点主要是针对深度学习，或者是针对 GPU 计算来使用。在 4 年的时间里，它有的性能有巨大的提高。

图为英伟达目前主要的 GPU 平台

选择 GPU 需要考虑到几个因素：

计算性能

计算性能又分为双精度计算性能和单精度的计算性能。双精度的是 FP64，单精度是 FP32，还有半精度的 FP16。这个主要是一个 Training 平台，主要会用到 FP32，跟 FP16。FP64 主要是在 HPC 的领域里用的比较多，如果精度不够，计算也许会出现一些状况。深度学习使用 FP32 或者 FP16 就已足够。