加上 84 个 SM，一个完整的 GV100 GPU 总共有 5376 个 FP32 核、5376 个 INT32 核、2688 个 FP64 核、672 个 Tensor Core 与 336 个纹理单元。每块内存控制器都连接了一个 768 KB 的 2 级缓存，每个 HBM2 DRAM 堆栈都由一对内存控制器控制。一个完整的 GV100 GPU 包括了总共 6144 KB 的二级缓存。图 4 展示了一个带有 84 个 SM 单元的完整 GV100 GPU（不同产品可以使用不同的 GV100 配置）。Tesla V100 加速器使用了 80 个 SM 单元。

表 1. Tesla V100 与过去五年历代 Tesla 加速器的参数对比

Volta SM（流式多处理器）

为提供更高的性能而设计的架构，Volta SM 比过去的 SM 设计有更低的指令与缓存延迟，也包括加速深度学习应用的新特性。

主要特性包括：

为深度学习矩阵计算建立的新型混合精度 FP16/FP32 Tensor Core。

为更高的性能、更低的延迟而增强的 L1 数据缓存。

为更简单的解码而改进的指令集，并减少了指令延迟。

更高的速度和能效。

图 5: Volta GV100 SM

Tensor Core：深度学习专用核心

新的 Tensor Core 是 Volta GV100 最重要的特征，有助于提高训练神经网络所需的性能。Tesla V100 的 Tensor Core 能够为训练、推理应用的提供 120 Tensor TFLOPS。相比于在 P100 FP 32 上，在 Tesla V100 上进行深度学习训练有 12 倍的峰值 TFLOPS 提升。而在深度学习推理能力上，相比于 P100 FP16 运算，有了 6 倍的提升。Tesla V100 GPU 包含 640 个 Tensor Core：每个流式多处理器（SM）包含 8 个。

Tensor Core 非常省电，电力消耗大有可能将不再是深度学习的一大瓶颈。Bryan Catanzaro 表示：「通过底层数学计算的优化，Tensor Core 相较之前的构架要省电很多。深度学习的一个重要的限制是 energy efficiency，Tensor Core 在解决这个问题的方面相当突出。」

矩阵-矩阵乘法运算（BLAS GEMM）是神经网络训练和推理的核心，被用来获得输入数据和权重的大型矩阵的乘积。如下图 6 所示，相比于基于 Pascal 的 GP100，Tesla V100 中的 Tensor Core 把这些运算的性能提升了至少 9 倍。

图 6：Tesla V100 Tensor Core 和 CUDA 9 对 GEMM 运算有了 9 倍的性能提升。（在 Tesla V100 样机上使用预发布的 CUDA 9 软件进行的测试）

Tensor Core 和与它们关联的数据通道进行了精心的定制，从而极大地提升了极小区域和能量成本下浮点计算的吞吐量。它也广泛地使用了时钟门控来尽可能节能。

每个 Tensor Core 包含一个 4x4x4 的矩阵处理阵列来完成 D=A x B + C 的运算，其中 A、B、C、D 是 4×4 的矩阵，如下图 7 中所示。矩阵相乘的输入 A 和 B 是 FP16 矩阵，相加矩阵 C 和 D 可能是 FP16 矩阵或 FP32 矩阵。

图 7：Tensor Core 的 4x4x4 矩阵乘法与累加。

每个 Tensor Core 每个时钟可执行 64 次浮点 FMA 混合精度运算（FP16 乘法与 FP32 累加），一个 SM 单元中的 8 个 Tensor Core 每个时钟可执行共计 1024 次浮点运算。相比于使用标准 FP32 计算的 Pascal GP100 而言，单个 SM 下的每个深度学习应用的吞吐量提升了 8 倍，所以这最终使得 Volta V100 GPU 相比于 Pascal P100 GPU 的吞吐量一共提升了 12 倍。Tensor Core 在与 FP32 累加结合后的 FP16 输入数据之上操作。FP16 的乘法得到了一个全精度结果，该结果在 FP32 和其他给定的 4x4x4 矩阵乘法点积的乘积运算之中进行累加。如图 8 所示。

图 8. Volta GV100 Tensor Core 流程图

在程序执行期间，多个 Tensor Core 通过一组 warp 线程的执行而同时使用。warp 内的线程提供了 Tensor Core 来处理大型 16×16×16 矩阵运算。CUDA 将这些操作作为 Warp-Level 矩阵运算在 CUDA C++ API 中公开。这些 C++接口提供了专门化的矩阵负载，如矩阵乘法和累加，矩阵存储操作可以有效地利用 CUDA C++程序中的 Tensor Core。