TPU、GPU、CPU深度学习平台哪家强？有人做了一个基准测试研究

图 2：FLOPS 的利用率及其与超参数的相关性。(a)–(c) 表示参数化模型的 FLOPS 利用率。(d)–(f) 使用线性回归权重量化了模型超参数对 FLOPS 利用率的影响。

图 3：全连接网络和卷积神经网络在 TPU 上的 Roofline。矩阵相乘(MatMul)运算的负载是计算密集型的。即使是 Transformer 和 ResNet-50 这样的计算密集型模型也具有 10% 以上的内存限制运算。(a) 和 (c) 展示了参数化模型和实际模型的 roofline。(b) 和 (d) 展示了运算的分解。

图 4：多片系统中的通信开销是不能忽略的，但是它会随着 batch size 的增大而减小。

图 5：FLOPS 利用率(顶部)和使用 float32 和 bfloat16 的实际模型在具有以及没有数据准备情况下的喂料时间(设备等待数据的时间)(底部)。具有较大喂料时间百分比的模型(例如 RetinaNet 和 SqueezeNet)会受到数据喂入的限制。

图 6：(a) 是 TPU v3 在运行端到端模型时与 v2 相比的加速比。(b) 和 (c) 是全连接和卷积神经网络的加速比。TPU v3 更大的内存支持两倍的 batch size，所以如果它们具有更大的 batch size，内存受限的运算会具获得三倍加速，如果没有更大的 batch size，则是 1.5 倍的加速。在 v3 上计算受限的运算拥有 2.3 倍的加速。红色的线 (75 Ops/Byte) 是 TPU v2 的 roofline 的拐点。

图 7：具有固定层(64)的全连接模型的 Examples/second(样本/秒)。Examples/second 随着节点的增多而减小，随着 batch size 的增大而增大。白色方块表示模型遇到了内存不足的问题。CPU 平台运行最大的模型，因为它具有最大的内存。

图 8：具有大 batch size 的小型全连接模型更偏好 TPU，具有小 batch size 的大型模型更加偏好 GPU，这意味着收缩阵列对大型矩阵更好，在 GPU 上对小型矩阵做变换更加灵活。

图 9：相比于 CPU，具有大 batch size 的大型全连接模型更适合 GPU，因为 CPU 的架构能够更好地利用额外的并行。

图 10：(a)–(c)：对大型卷积神经网络而言，TPU 是比 GPU 更好的选择，这意味着 TPU 是对卷积神经网络做了高度优化的。(d)–(e)：尽管 TPU 对 RNN 是更好的选择，但是对于嵌入向量的计算，它并不像 GPU 一样灵活。

图 11：(顶部)在所有的负载上 TPU 相对 GPU 的加速比。需要注意的是，实际负载在 TPU 上会使用比 GPU 上更大的 batch size。ResNet-50 的英伟达 GPU 版本来自于文献 [9]。(底部)所有平台的 FLOPS 利用率对比。

图 12：(a)TPU 性能随着 TensorFlow 版本更新发生的变化。所有的 ParaDnn 模型都有提升：Transformer, RetinaNet, 和 ResNet-50 提升稳定。(b)CUDA 和 TF 的不同版本上 GPU 的加速比。CUDA 9.2 对卷积神经网络的提升要比其他 ParaDnn 模型更多，对 ResNet-50 的提升要比其他实际模型更多。CUDA 10 没有提升 RNN 和 SqueezeNet。

（编辑：孝感站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!