『壹』 8192cuda 性能强悍 NV公布7nm安培A100gpu 还想弯道超车
如约而至，NVIDIA 昨天以线上发布录制视频的方式带来了 GTC 2020 主题演讲，这次，没有舞台、没有大屏幕背景，此次的重点就是介绍 NVIDIA 基于全新安培架构，面向 HPC 领域的 A100 GPU，适用于科学计算、数据分析、云图形等高性能计算。
基于 AMPERE (安培) 架构的 A100 GPU 采用台积电 7nm 工艺打造，核心面积 826m㎡，晶体管数量高达恐怖的 542 亿，是 Volta GV100 GPU 的 2.5 倍还多，后者采用的是台积电 12nm 工艺，面积为 815m㎡，晶体管数量为 211 亿，由此可见台积电 7nm 工艺的提升之大。
完整的 AMPERE A100 GPU 拥有 128 组SM，每组 64 个 CUDA FP32 核心、32 个 FP64 CUDA 核心、4 个第三代 Tensor 核心、12x 512-bit 显存接口、支持 6 个 HBM 显存堆栈，由于并非为 游戏 领域设计，所以 A100 GPU 没有 RT 核心。
完整的 A100 共计有 8192 个 FP32 CUDA 核心，4096 个 FP64 CUDA 核心 、512 个 Tensor 核心、6144-bit 显存位宽、最高可支持 48GB HBM 显存，另外 AMPERE A100 GPU 将支持 PCIe 4.0 连接。
不过，新一代 Tesla A100 计算卡没有用上完整的 128 组 SM，只有启用了 108 组，共计 6912 个 CUDA 核心，432 个 Tensor 核心，配备 40GB 显存，显存位宽也缩减为 5120-bit，即便如此，该卡的 TDP 也高达400W，名副其实的电老虎。
强大的规模使得 A100 成为 NVIDIA 目前最快的 GPU，其中第三代 Tensor 内核提供了一种新的混合 FP32 格式，称为 TF32（Tensor Float 32) 对于使用 TF32 的工作负载，A100 可以在单个芯片中提供 312 TFLOPS 的算力，比 V100 的 15.7 TFLOPS 的 FP32 性能快 20 倍，但这并不是一个完全公平的比较，因为 TF32 与 FP32 并不完全相同。
相比上一代，NVIDIA Ampere架构的A100将性能提升了20倍。A100的五大关键特性包括：
以上这些特性促成了A100性能的提升：与NVIDIA上一代的Volta架构相比，训练性能提高了6倍，推理性能提高了7倍。
此外 NVIDIA 还推出了基于 AMPERE A100 打造的 DGX A100 系统，内置 8 块基于 A100 GPU 的 Tesla A100 计算卡，总显存容量高达 320GB (每卡40GB)，可提供 5 Petaflops 的 AI 性能，以及 10 Petaops 的 INT8 性能。
这次，NVIDIA 选择了与 AMD 合作，在 DGX A100 系统上使用了 AMD EPYC 7742 处理器，该处理器具备高达 64 核心 128 线程，基础频率 2.25GHz，加速频率 3.4GHz，每个 DGX A100 使用两个，共计 128 核心和 256 线程，另外该系统还具备高达 1TB DDR4 内存，15TB 的 U.2 NVMe SSD 以及 2 个 1.92TB 的 M.2 NVMe SSD，8 个 Mellanox HDR(Infiniband) 额定 200Gb/s 的网络端口。
NVIDIA DGX-A100 系统现已开始供货，起价为 199,000 美元。
『贰』 1万个A100的算力是多少
NVIDIA A100是一种高性能计算加速器，它的算力可以通过浮点运算每秒测量来衡量。具体而言，A100在FP32精度下的猜蚂算力为19.5 TFLOPS（万亿次浮点运算每秒），在FP64精度下的算力为9.7 TFLOPS。
因此，1万个A100的穗孙埋算力在FP32精度下为：
19.5 TFLOPS × 10,000 = 195 PFLOPS（千万亿次浮点运算每秒）
在FP64精度下的算力为：
9.7 TFLOPS × 10,000 = 97 PFLOPS（千万亿次浮点运算每秒）
需要注意凯搭的是，这只是理论上的峰值算力，实际应用中的性能可能会受到多种因素的影响，例如算法的复杂度、数据传输瓶颈等。
『叁』 A100显卡是什么有了解的吗
A100 系列是计算加速显卡，该系列产品为数据中心的高性能计算机推出，用于人工智能、科学、产业等运算。该系列产品 GPU 芯片代号为 GA100，核心面积 826 平方毫米，具有 540 亿个晶体管，新品最高搭载 80GB 显存，使用 HBM2e 高速显存芯片。
『肆』 英伟达秀全球最大GPU，黄仁勋从烤箱里拿出的产品果然「爆了」
SegmentFault 思否报道丨公众号：SegmentFault
是他，还是那个男人，那个熟悉的皮夹克。
5 月 14 日 晚，黄仁勋在厨房召开了英伟达 GTC 2020 线上发布会。由于新冠病毒疫情影响，英伟达原计划的现场活动被迫取消，定于 3 月 24 日通过媒体发布的新闻稿也未见踪影。千呼万唤中，黄仁勋终于在烤箱前和大家见面了。
本届 GTC 从预热开始就不走寻常路，黄仁勋在大会前一天晒出了自己从烤箱里拿出了 全新的安培（Ampere）架构 GPU NVIDIA A100 。
令人颇感意外的是，虽然无法举办线下活动，英伟达竟然连线上直播都懒得办，直接播放了黄仁勋在自家厨房里录制的视频完成了新品发布。果然是手里有「硬货」就不在乎形式了。
英伟达的首款安培架构 GPU 可以算「史上最强」了，基于 7nm 工艺制程，拥有 540 亿晶体管，面积为826mm²，与 Volta 架构相比性能提升了 20 倍 ，既可以做训练也可以做推理。
NVIDIA A100 具有 TF32的第三代 Tensor Core 核心，能在不更改任何代码的情况下将 FP32 精度下的 AI 性能提高 20倍，达到19.5万亿次/秒 。
多实例 GPU-MG 可将单个 A100 GPU 分割为 7 个独立的 GPU，根据任务不同提供不同的计算力，实现最佳利用率和投资回报率的最大化。
NVIDIA A100 新的效率技术利用了AI数学固有的稀疏性，优化之后性能提升了一倍。
英伟达将 NVIDIA A100 的特性总结为以下 5 点：
黄仁勋说：“Ampere架构的突破性设计为英伟达第八代GPU提供了迄今为止最大的性能飞跃， 集 AI 训练和推理于一身，并且其性能相比于前代产品提升了高达 20 倍 。这是有史以来首次，可以在一个平台上实现对横向扩展以及纵向扩展的负载的加速。A100 将在提高吞吐量的同时，降低数据中心的成本。”
NVIDIA A100 是第一个基于 NVIDIA 安培架构的 GPU，提供了在 NVIDIA 八代 GPU 里最大的性能提升，它还可用于数据分析，科学计算和云图形，并已全面投产并交付给全球客户。
全球 18 家领先的服务提供商和系统构建商正在将 NVIDIA A100 整合到他们的服务和产品中，其中包括阿里云、AWS、网络云、思科、Dell Technologies、Google Cloud、HPE、Microsoft Azure和甲骨文。
黄仁勋还介绍了基于 NVIDIA A100 的第三代 AI 系统 DGX-A100 AI。DGX-A100 AI 是世界上第一台单节点 AI 算力达到 5 PFLOPS 的服务器 ，每台 DGX A100 可以分割为多达 56 个独立运行的实例，还集合了 8 个 NVIDIA A100 GPU，每个 GPU 均支持 12 路 NVLink 互连总线。
据了解，与其他高端 CPU 服务器相比，DGXA100 的 AI 计算性能高 150 倍、内存带宽高 40 倍、IO 带宽高 40 倍。
黄仁勋说：“AI已经被应用到云计算、 汽车 、零售、医疗等众多领域，AI算法也正变得越来越复杂和多样。ResNet模型的算力需求从2016年到现在已经增加了3000倍，我们需要更好的解决方案。”
如此强大的 DGX-A100 AI 售价自然也不便宜，标价 19.9 万美元，约合人民币 141 万元。
此外，黄仁勋还提到了英伟达新一代 DGXSuper POD 集群，由 140 台DGXA100系统组成，AI算力达 700 Petaflops，相当于数千台服务器的性能 。
据了解，首批 DGXSuper POD 将部署在美国能源部阿贡国家实验室，用于新冠病毒疫情相关的研究。
除了以上两款重磅产品，黄仁勋还宣布推出了 NVIDIA Merlin，这是一个用于构建下一代推荐系统的端到端框架，该系统正迅速成为更加个性化互联网的引擎。Merlin将创建一个 100 TB 数据集推荐系统所需的时间从四天减少到 20 分钟。
英伟达此次还推出了众多 AI 领域相关产品，包括 以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC、EGX 边缘 AI 平台和一系列软件更新扩展。
1.以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC
ConnectX-6 Lx 是业界首个为 25Gb/s 优化的安全智能网卡，可提供两个 25Gb/s 端口或一个 50Gb/s 端口。
2.EGX 边缘 AI 平台
EGX Edge AI 平台是首款基于 NVIDIA 安培架构的边缘 AI 产品，可接收高达 200Gbps 的数据，并将其直接发送到 GPU 内存进行 AI 或 5G 信号处理。
3.Spark 3.0
英伟达还宣布在 Spark 3.0 上支持 NVIDIA GPU 加速，基于 RAPIDS 的 Spark 3.0，打破了提取，转换和加载数据的性能基准。它已经帮助 Adobe Intelligent Services 将计算成本降低了90％。
4.NVIDIA Jarvis
黄仁勋在发布会中详细介绍了 NVIDIA Jarvis，这是一个新的端到端平台，可以充分发挥英伟达 AI 平台的强大功能，创建实时多模态对话式 AI。
5.Misty 交互 AI
现场演示中，一个名为 Misty 的 AI系统展示了实时理解并回答一系列有关天气的复杂问题的交互过程。
自动驾驶方面，英伟达也将安培架构嵌入了新的 NVIDIA DRIVE 平台。据了解，小马智行、法拉第未来等自动驾驶企业已宣布采用 NVIDIA DRIVE AGX 计算平台。
英伟达的 NVIDIA Isaac 软件定义的机器人平台还将用于宝马集团工厂。英伟达机器人技术全球生态系统涵盖配送、零售、自主移动机器人、农业、服务业、物流、制造和医疗保健各个行业。
英伟达这场时隔 3 年的发布会可谓诚意满满，首次推出的安培架构给足了惊喜，性能提升 20 倍的 NVIDIA A100 GPU 可谓性能飞跃。
虽然发布会并不是现场直播，但依旧爆点十足。一台就比千台强的 DGX-A100 AI 也印证了黄仁勋那就经典名言“买的越多，赚的越多”。英伟达的 AI 解决方案已经覆盖了各行各业，强大的 AI 生态正在形成。
中国工程院院士倪光南曾表示：「芯片设计门槛极高，只有极少数企业能够承受中高端芯片研发成本，这也制约了芯片领域创新。」
英伟达在本届 GTC 上推出的安培架构和基于此的一系列 AI 平台无一部显示了一个 AI 芯片巨头的实力，又一次树立了性能标杆。
根据 Gartner 的预测数据 ，未来 5 年内全球人工智能芯片市场规模将呈飙升趋势 ，自 2018 年的 42.7 亿美元 ，升高至 343 亿美元 ，增长已超过 7 倍，可见 AI 芯片市场有较大增长空间。
尽管与西方发达国家相比，中国的 AI 芯片研发还存在一定差距，但过去两年中，中国 AI 芯片初创企业已获得了数亿美元的资金。华为等公司也开发了令人印象深刻的芯片设计。
但芯片开发极具复杂性，中国人才的短缺以及缺乏多家全球销售排名前 15 位的中国半导体公司的情况表明，中国仍需要取得重大进展，才能在半导体领域与美国匹敌。