英伟达深度学习专家路川详解“如何升级GPU深度学习系统”

2017-07-08 09:02来源:InfoQ

原标题：英伟达深度学习专家路川详解“如何升级GPU深度学习系统”

GPU 成为在构建深度学习系统时必不可少的需要关注的方向，但是诸如如何选择一款 GPU 来搭建深度学习平台，如何升级自己的 GPU 之类的问题一直困扰着开发者。现在，这些问题都将由来自英伟达的深度学习专家为你解答。

编辑｜陈思

注：本内容整理自 2017 年 6 月 26 日 InfoQ 英伟达在线直播课堂

GPU 成为每一家企业在构建深度学习系统时必不可少的需要关注的方向，与此同时英伟达每一年在推出新的 GPU 架构和依托于此的新的产品，其最推先推出的 Volta 架构，比起当前 Pascal 的性能提升了 5 倍，优于两年前推出的 Maxwell 架构 15 倍，远远超过摩尔定理的预测，在此背景下许多开发者也充满了各种疑问：例如如何搭建自己的深度学习平台，要不要升级自己的 GPU，深度学习系统，该如何选择和适合自己的 GPU 与 SDK，哪些方法或技巧能够帮助自己进行更好的升级？

英伟达机器学习解决方案架构师路川，从两个方面进行了介绍：

GPU 的硬件方面

GPU 的软件和开发平台方面

wifi 用户和流量土豪请看课程视频：

不方便看视频的同学可以先看文字版课程内容精炼，有 wifi 之后再去看视频，学习效果会更好哟~

硬件方面

从 06 年开始，就有人拿 GPU 做计算使用，从 06 年到 12 年，大部分的 GPU 的应用场景都是在传统的 HPC 领域去应用的，比如用作动力学，还有计算物理、计算化学等方面。

2012 年开始，就有人采用 GPU 来去构建深度神经网络，用 GPU 来加速深度神经网络计算，使用 GPU 来加速，在图像分类上面取得了非常好的成果。从 2012 年开始 GPU 在人工智能领域的开始应用的很广，2012 年到 2016 年各个互联网公司，各个行业都在应用 GPU。应用 AI 的技术去服务于客户的公司是越来越多，应用也是越来越多。

目前主流的 AI 研究里，用的主流的或者是性价比最高的 GPU 平台是 Pascal 架构的平台。Pascal 架构是目前主要针对于深度学习，针对于 GPU 计算的一个平台，它主要有以下 5 个特征：

Pascal 架构支持 GPU 计算，让 GPU 计算更加高效快速；

Pascal 的架构设计可以更好的让 GPU 充分发挥它的性能；

Pascal 采用 16 纳米的工艺，使它的 Memory 容量会更高、更快；

Pascal 架构开始采用的新的技术，取代了原来 PCIe 的技术，GPU 跟 GPU 之间的数据交换是通过 NVlink 相连，这样可以快速的达到 GPU 虚拟交换的目的；

针对于深度学习的一些 SDK 库，在 Pascal 下会针对架构做很多的优化；另外就是 GDSY，针对于深度学习的领域，英伟达公司推出了一个硬件加软件整体的智能解决方案，GDSY，它内部采用了最新的 Pascal 架构的 GPU。

软件方面：

英伟达公司内部也是对各个深度学习的 framework 做了一些优化，整合在 GPU 内部，这样客户可以不用关心底下是怎么去实现的，只用 GDSY 作为一个工具来去做深度学习训练就 OK 了。之后通过 GDSY 可以构建一个集群，来做一些深度学习分布式应用之类的计算任务，最后就是这三年内 GPU 的计算量增加到 60 倍，针对于 AI 技术，GPU 带来了非常大的计算性能的提升。

在深度学习里面用的比较多的是 SDK，像 cuDNN 网络，都可以去构建深度学习的网络。另外，就是 NCCL，指的是快速的去加速 CPU 跟 GPU 之间的数据交换，通过优化来提升 GPU 之间交换性能的一个 SDK 工具，还有 cuBLAS 函数，线性库，跟其他的一些 Blas 库是一样的，都是基于 CUDA 平台，基于 GPU 的库；还有 cuSPARSE 库、TensorRT，可以做一些线上的优化；通过调用 cuDNN 等等可以构建一个训练平台，用来加速训练，基于 Caffe、TensorFlow，训练完成以后，再布到线上去，在云端，或者嵌入式设备端，通过进一步的优化，可以快速的给客户去提供 AI 线上的 inference 服务。

英伟达有很多的 SDK 供大家使用，SDK 对于客户来说是非常重要的一个工具。举个小例子：一些视频处理的客户，在视频处理的过程中，需要用到视频的编解码，同时要用到深度学习的这些工具，来加速相关的一些视频分析。编解码的方案有非常多种，但是经过对比，客户采用了英伟达的 Video SDK 里面的硬编程解码方式，效率会更高。如果要更高效的使用 GPU，当然是利用现有的英伟达 SDK 做加速。