总结一下截止2023年中旬全球主要厂商拥有的GPU数量以及训练GPT-3/LLaMA2所需要的GPU数量

GPU Utils最近总结了一个关于英伟达H100显卡在AI训练中的应用文章。里面透露总结了一些当前的主流厂商拥有的显卡数量以及一些模型训练所需的显卡数。文章主要描述的是H1000的供应与需求，也包含H100的性能描述，本文主要总结一下里面提到的显卡数相关统计供大家参考。

H100简介以及常见的H100、GH200s、DGC GH200s、HGX H100s的区别

首先还是简单介绍一下这里涉及到的显卡基本知识。H100是目前全球性能最高的专业级显卡，特别适合用来训练大语言模型这种超大规模参数的大模型。速度很快。在16-bit训练上，比A100快2.3倍，在16-bit的推理上比A100快3.5倍。

当然，与H100经常一起出现的还有H100s, GH200s, DGX GH200s, HGX H100s, 和 DGX H100s这些名称，其基本区别如下：

• H100 = 一个H100 GPU
• HGX H100 = Nvidia 的服务器参考平台，OEM厂商可用其构建一个包含4块GPU或8块GPU服务器。由像Supermicro这样的第三方OEM厂商制造。
• DGX H100 = Nvidia官方的H100服务器，配备8个H100 GPU。Nvidia是唯一的供应商。