3.网络架构，对于训练平台，采用高速互联的IB网络；对于线上推理平台，因为每个计算节点之间并不需要通信，所需要的网络带宽并不需要那么高，所以一般会采用万兆。

4.计算模式，对于训练平台，多个节点如果同时训练将采用分布式并行的方式，比如采用MPI+CUDA计算模式；对于线上采用Spark/Hadoop+CUDA计算模式。

针对平台层，浪潮提供全线AI计算产品支持，如2 GPU服务器NF5280M4，主要作为线上推理识别用。还有支持训练的4 GPU服务器NF5568M4， 8 GPU服务器AGX-2，还有我们跟百度联合研制的SR-AI Rack，单GPU BOX实现16 GPU并行，整机柜实现64块GPU并行。针对线上大规模部署，要求低功耗，我们也设计了FPGA板卡F10A，整个卡功耗可以做到35瓦，性能达到1.5TFlops。目前浪潮是领先的AI计算厂商，很多用户在采用浪潮的计算产品，在大型互联网市场AI产品市场占有率达到80%以上。

管理层面临的挑战及解决方案

整个系统部署好之后，既有CPU计算节点，也有GPU计算节点，对整个计算系统我们如何有效的管理起来，其面临的挑战有几个方面：

第一，针对不同的计算平台和计算设备，如CPU、GPU或者FPGA，如何进行有效的管理。

第二，针对不同的计算任务和计算框架，如何进行合理的调度。

第三，针对整个系统和不同的计算作业，如何进行监控。

应对上述三个方面的挑战，浪潮设计的深度学习管理系统AIStation可以实现五大功能：深度学习框架的快速部署、深度学习训练任务的管理、GPU 与CPU资源的调度、系统资源与健康状态的监控、应用特征分析。

框架层面临的挑战及解决方案

目前开源出来的深度学习框架非常多，如Caffe、TensorFlow、MXNet、Torch等等，框架众多，如何选择？选择一种框架还是选择多种？以及针对什么场景或者什么样的模型来选择什么样的框架，针对多大数据量，选择多机并行的框架。以上是我们针对深度学习框架所面临几个方面的挑战。

我们在选择框架的时候，实际上可以针对目前的一些主流框架做一个评测，之前我们跟美国某知名的互联网公司开展过联合测试，对他们所关心的深度学习框架做了一个测评。

我们把三个主流的框架Caffe、TensorFlow和MXNet部署到我们16 GPU BOX服务器平台上面，采用Imagenet数据集，测试Alexnet和GooLeNet两种典型网络。从测试结果来看当运行Alexnet网络时，Caffe性能最好，每秒可以训练图片张数达到4675张，16个GPU比单个GPU的加速比达到14倍，其次是MXNet，最后是TensorFlow。当运行GooLeNet时，MXNet性能最好，每秒可以训练的图片张数达到2462张，16个GPU比单个GPU的加速比达到12.7倍，其次是Caffe，最后是TensorFlow。从这个评测来看，基于不同的网络，所选择最优的框架是不一样的。

基本上可以有大致的一个原则来选择：我们会根据不同的场景和模型来选择至少一种深度学习框架，目前很难说一种框架能在所有的应用场景中表现最优，如果是图像方面的应用，主要采用Caffe、TensorFlow和MXNET这三种框架。如果是语音的话，可以选择CNTK，当然还有其他的框架。自然语言处理的话可以采用PaddlePaddle，针对大数据量的训练，采用单机训练的话时间会很长，atv，有可能是几周或几个月训练出一个模型，需要采用分布式框架，如浪潮自研的Caffe-MPI，这个框架就实现了多机多GPU卡的并行训练。通过实际测试，Caffe-MPI采用16个GPU卡同时训练时，每秒可以处理的效率达到3061张，较单卡性能提升13倍，扩展效率达到81%，性能将近是TensorFlow的2倍，Caffe-MPI目前已经在Github上开源了，可以下载使用。

应用层面临的挑战及解决方案

应用层面临如下几个方面挑战：

一、如何利用深度学习的方法，提高识别的正确率，这里面会涉及到模型和算法的设计、数据预处理。

二、GPU编程，在训练程序的设计过程中会涉及到写部分的GPU的代码，比如我们会添加一些新的层，会写一些相对应的CUDA代码。

三、FPGA编程，在推理阶段，可能会采用FPGA平台，需要把应用从CPU迁移到FPGA上，采用OpenCL编程或者采用偏底层硬件编程语言Verilog，其编程的复杂度相对较高。

针对AI应用挑战，浪潮成立了两个联合实验室：Inspur-Intel中国并行计算联合实验室和Inspur-NVIDIA GPU 联合实验室，针对GPU、MIC、FPGA异构技术和AI应用进行研究，我们具备CPU+GPU，CPU+MIC，CPU+FPGA三大异构技术，可以帮助用户来设计深度学习的一些模型算法，进行GPU、MIC、FPGA应用的迁移和优化。