ampere架构（[GPU硬件架构]NVIDIA Ampere 架构：第三代 Tensor Core）
![ampere架构（[GPU硬件架构]NVIDIA Ampere 架构：第三代 Tensor Core）](/static/images/bgimages/woman-g8df7d756c_1280.jpg)
本文目录
[GPU硬件架构]NVIDIA Ampere 架构：第三代 Tensor Core
摘录自 NVIDIA Ampere Architecture In-Depth 一文中关于 Tensor Core 的部分 NVIDIA A100 是基于Ampere 架构推出的一款GPU芯片，计算能力8.0。Tensor Core 是 NVIDIA 的先进技术，可实现混合精度计算，并能根据精度的降低动态调整算力，在保持准确性的同时提高吞吐量。 GA100 GPU 的完整实现包括以下单元： GA100 GPU 的 A100 Tensor Core GPU 实现包括以下单元： 基于 NVIDIA Ampere 架构的 A100 Tensor Core GPU 中的新 SM 大大提高了性能，在 Volta 和 Turing SM 架构的基础之上，增加了许多新功能。 如上图所示，TP32提供了与FP32相同的表示范围（与 FP32 相同，具有8 位指数），但与FP16相同的表示精度（与 FP16 相同，具有10 位尾数）。TF32 Tensor Core 读取 FP32 数据作为输入并在内部转换为TF32数据，最终产生FP32 输出。因此在A100中可以使用TF32加速FP32的张量计算，并同时支持FP32数据的输入和输出。其运行速度比 V100 FP32 FMA 操作快 10 倍，或者在稀疏时快 20 倍。
[GPU硬件架构]NVIDIA Ampere 架构：细粒度结构化稀疏性
细粒度结构化稀疏性（fine-grained structured sparsity ，稀疏性），是助力推动 NVIDIA Ampere 架构 GPU 性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。 在A100中，通过细粒度结构化稀疏将训练好的网络权重修剪为2:4 稀疏矩阵，接下来是一个简单而通用的方法来对非零权重进行微调（fine-tune）。然后权重网络权重被压缩之后，数据占用空间和带宽减少为原来的一半，并且 A100 的稀疏 Tensor Core 通过跳过零（skipping the zeros）将数学计算的吞吐量加倍。 根据NVIDIA自述 ，通过对计算机视觉、目标检测、分割、自然语言建模和翻译的数十个网络的评估，这种方法几乎不会导致推理准确性的损失。 以下为NVIDIA使用PyTorch库 Automatic SParsity (ASP) 实现的工作流获得的FP16精度结果示例： 更多信息可以参考 the Accelerating Sparse Deep Neural Networks whitepaper A100 Tensor Core GPU 包括新的 Sparse Tensor Core 指令，这些指令跳过对零值的计算，从而使 Tensor Core 计算吞吐量翻倍。图1展示了，Tensor Core在点积计算中是如何使用压缩元数据（即：非零值的索引）去匹配经过压缩后的网络权重。 通过引入稀疏 Tensor Core，A100使用TensorFloat-32的运行速度比V100 FP32 FMA快20倍。
![ampere架构（[GPU硬件架构]NVIDIA Ampere 架构：第三代 Tensor Core）](/static/images/bgimages/still-life-851297_1920.jpg)
更多文章：
华为荣耀30s价格官网（荣耀30S价格降至2199元，你对此怎么看）
2024年5月4日 18:20
2024年2月23日 19:20
2024年12月3日 10:10
2024年6月1日 22:10
高清视频分配器（视频矩阵、视频分配器、图像拼接控制器有什么区别 请详细解答谢谢）
2024年12月12日 04:40
2024年11月12日 20:40
2024年5月22日 12:20
2024年4月2日 13:10
2024年4月6日 17:50
一加8pro有必要换一加9pro吗（4个月的深刻体验：一加9 Pro适合谁用看这篇就够了）
2024年11月18日 15:50
卡西欧tr350s原价多少（卡西欧tr350s好不好这个和tr350有什么区别呀）
2024年4月11日 21:20
联想和ibm（联想thinkbook和thinkpad的区别）
2024年12月5日 17:50
2024年9月14日 09:40
thinkpad sl400有蓝牙吗（thinkpadSL400的蓝牙驱动已经安装了，就是无法收索到电脑的蓝牙，应该如何设置）
2024年9月8日 16:11
2024年5月1日 01:50
2024年5月19日 04:30
2024年3月11日 22:30
ibm联想t60（联想 THINKPAD T60 分辨率问题）
2024年7月7日 12:30
台电c700sp变砖了（台电c700sp 无法开机 怎样刷机！）
2024年9月21日 22:50
联想拯救者y7000性价比（联想拯救者y7000 2020怎么样）
2024年3月20日 04:10
