苹果最新的M3系列芯片对于大模型的使用来说未来价值如何?结果可能不太好!M3芯片与A100算力对比!
M3系列芯片是苹果最新发布的芯片。也是当前苹果性能最好的芯片。由于苹果的统一内存架构以及它的超大内存,此前很多人发现可以使用苹果的电脑来运行大语言模型。尽管它的运行速度不如英伟达最先进的显卡,但是由于超大的内存(显存),它可以载入非常大规模的模型。而此次的M3芯片效果如何,本文做一个简单的分析。

Intel+Nvidia的大模型硬件体系
当前主流的大模型架构都是基于transformer的架构,属于一种深度学习架构的模型。使用GPU训练这样的模型速度很快。
然而,大模型的训练只有GPU是不够的。GPU主要负责并行计算和深度学习模型的训练,而CPU则负责处理数据的预处理、后处理以及管理整个训练过程的任务。GPU和CPU之间的协同工作可以实现高效的大规模模型训练。
显然这些优点共同支撑了英特尔CPU和英伟达GPU在大模型训练领域的市场份额。尤其是英伟达的显卡,是目前训练大语言模型最快的硬件。最新的H100芯片
苹果M系列芯片的大模型硬件体系
尽管苹果的芯片并不是为了大模型设计,但是苹果的一个所谓的统一内存架构和超高的内存带宽让支撑了较大规模的大模型运行。
尤其是作为消费级硬件来说,可以运行超大规模参数的大模型是非常具有优势的。
