11分钟训完GPT-3,英伟达H100横扫MLPerf8项基准测试,下一

2023-06-30 13:27:22 来源: IT之家 阅读量:18305   

感谢IT之家网友 Sancu 的线索投递!

黄老板又赢麻了!在最新的 MLPerf 基准测试中,H100 成功创下 8 项测试纪录。而外媒透露,下一代消费级显卡或在 2025 发布。

最新 MLPerf 训练基准测试中,H100 GPU 在所有的八项测试中都创下了新纪录!

如今,NVIDIA H100 几乎已经统治了所有类别,并且是新 LLM 基准测试中使用的唯一 的 GPU。

3,584 个 H100 GPU 群在短短 11 分钟内完成了基于 GPT-3 的大规模基准测试。

MLPerf LLM 基准测试是基于 OpenAI 的 GPT-3 模型进行的,包含 1750 亿个参数。

Lambda Labs 估计,训练这样一个大模型需要大约 3.14E23 FLOPS 的计算量。

11 分钟训出 GPT-3 的怪兽是如何构成的

在 LLM 和 BERT 自然语言处理 基准测试中排名最高的系统,是由 NVIDIA 和 Inflection AI 联合开发。

由专门从事企业级 GPU 加速工作负载的云服务提供商 CoreWeave 托管。

该系统结合了 3584 个 NVIDIA H100 加速器和 896 个 Intel Xeon Platinum 8462Y + 处理器。

因为英伟达在 H100 中引入了新的 Transformer 引擎,专门用于加速 Transformer 模型训练和推理,将训练速度提高了 6 倍。

CoreWeave 从云端提供的性能与英伟达从本地数据中心运行的 AI 超级计算机所能提供的性能已经非常接近了。

这得益于 CoreWeave 使用的 NVIDIA Quantum-2 InfiniBand 网络具有低延迟网络。

随着参与训练的 H100 GPU 从数百个扩展到 3000 多个。

良好的优化使得整个技术堆栈在要求严苛的 LLM 测试中实现了近乎线性的性能扩展。

如果将 GPU 的数量降低到一半,训练相同的模型时间会增加到 24 分钟。

说明整个系统的效率潜力,随着 GPU 的增加,是超线性的。

最主要的原因是,英伟达从 GPU 设计之初就考虑到了这个问题,使用 NVLink 技术来高效实现了 GPU 之间的通信。

在参与测试的 90 个系统中,有 82 个系统都使用了英伟达的 GPU 进行加速。

单卡训练效率

系统集群训练时间对比

英特尔参加测评的系统使用 64 到 96 个不等的 Intel Xeon Platinum 8380 处理器和 256 到 389 个不等的 Intel Habana Gaudi2 加速器。

然而,英特尔提交的 GPT-3 的训练时间为 311 分钟。

成绩和英伟达相比就稍微有点惨不忍睹了。

分析师:英伟达优势过大

行业分析师认为,英伟达的在 GPU 上的技术优势是非常明显的。

而它作为 AI 基础设施提供商,在行业中的主导地位还体现在英伟达多年建立起来的生态系统粘性上。

AI 社区对英伟达的软件的依赖性也非常强。

几乎所有 AI 框架都基于英伟达提供的底层 CUDA 库和工具。

而且它还能提供全堆栈的 AI 工具和解决方案。

除了为 AI 开发人员提供支持之外,英伟达还继续投资用于管理工作负载和模型的企业级工具。

在可预见的未来,英伟达在行业的领先地位将会非常稳固。

分析师还进一步指出。

MLPerf 测试结果中所展现的,NVIDIA 系统在云端进行 AI 训练的强大功能和效率,才是英伟达「战未来」的最大本钱。

下一代 Ada Lovelace GPU,2025 年发布

Tom's Hardware 自由撰稿人 Zhiye Liu 也于近日发文,介绍了下一代英伟达 Ada Lovelace 显卡的计划。

H100 训练大模型的能力,毋庸置疑。

只用 3584 个 H100,短短 11 分钟内,就能训练出一个 GPT-3 模型。

在最近的新闻发布会上,英伟达分享了一份新路线图,详细介绍了下一代产品,包括 GeForce RTX 40 系列 Ada Lovelace GPU 的继任者,而前者,是当今最好的游戏显卡。

根据路线图,英伟达计划在 2025 年推出「Ada Lovelace-Next」显卡。

如果继续沿用当前的命名方案,下一代 GeForce 产品应该是作为 GeForce RTX 50 系列上市。

根据南美黑客组织 LAPSU$ 得到的信息,Hopper Next 很可能被命名为 Blackwell。

在消费级显卡上,英伟达保持着两年一更新的节奏。

他们在 2016 年推出了 Pascal,在 2018 年推出了 Turing,在 2020 年推出了 Ampere,在 2022 年推出了 Ada Lovelace。

如果这次 Ada Lovelace 的继任者会在 2025 年推出,英伟达无疑就打破了通常的节奏。

最近的 AI 大爆发,产生了对英伟达 GPU 的巨大需求,无论是最新的 H100,还是上一代的 A100。

根据报道,某大厂今年就订购了价值 10 亿美元的 Nvidia GPU。

尽管有出口限制,但我国仍然是英伟达在全世界最大的市场之一。

对此,英伟达已经对某些 AI 产品做了微调,发布了 H100 或 A800 等特定 SKU,以满足出口要求。

Zhiye Liu 对此分析道,换个角度看,出口法规其实是有利于英伟达的,因为这意味着芯片制造商客户必须购买更多原版 GPU 的变体,才能获得同等的性能。

这也就能理解,为什么英伟达会优先考虑生成计算 GPU,而非游戏 GPU 了。

最近的报道显示,英伟达已经增加了计算级 GPU 的产量。

没有面临来自 AMD 的 RDNA 3 产品堆栈的激烈竞争,英特尔也没有对 GPU 双头垄断构成严重威胁,因此,英伟达在消费侧可以拖延。

最近,Nvidia 通过 GeForce RTX 4060 和 GeForce RTX 4060 Ti,将其 GeForce RTX 40 系列产品堆栈又扩大了。

GeForce RTX 4050 以及顶部的 RTX 4080 Ti 或 GeForce RTX 4090 Ti 等,都有潜力。

如果迫不得已,英伟达还可以从旧的 Turing 版本中拿出一个产品,更新 Ada Lovelace,给它封个「Super」待遇,进一步扩展 Ada 阵容。

最后,Zhiye Liu 表示,至少今年或明年,Lovelace 架构不会真正更新。

参考资料:

广告声明:本文含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考。IT之家所有文章均包含本声明。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

精选 导读

大摩:苹果产量或超预期增长,预计Q1业绩有“惊喜”

摩根士丹利分析师KatyHuberty指出,苹果本季度iPhone产量可能超预期增长,因为交货周期正在下降到“更正常的水平”。该分析师预计苹...

发布时间: 2021-12-23 17:04
行情   2021-12-23

中金:维持石四药集团跑赢行业评级目标价5.8港元

中金发布研究报告称,维持石四药集团“跑赢行业”评级,保持2021/22年归母净利润预测7.9/11.64亿元不变,目标价5.8港元。报告中称...

发布时间: 2021-12-23 17:03
行情   2021-12-23

实探中装建设元宇宙合作方鸿蒙时代:与华为无关已搬离注册地

12月22日,深交所对中装建设发布关注函,要求说明公司是否存在“楼宇智能大数据信息处理、AI可视化、元宇宙应用、智能建造系统、区块链等技术”...

发布时间: 2021-12-23 17:02
行情   2021-12-23

“疫”线女将:眼里有光心中有爱

“疫”线女将:眼里有光心中有爱题:“疫”线女将:眼里有光心中有爱曾灯光璀璨、游人如织的边陲小城因新冠疫情的再次暴发按下“暂停键”。内蒙古自治...

发布时间: 2021-12-23 16:48
要闻   2021-12-23

联通网络智能运维产品研发招标:华为、中软等11家企业入围

中国联通日前正式公布网络智能运维产品研发招标结果,华为、中软、软通动力、亚信科技等11家企业入围。传统网络故障的被动处理方式,从故障感知到信...

发布时间: 2021-12-23 16:35
酷玩   2021-12-23

热点 推荐

小米12Pro自研智能动态刷新率演示视频公布:支持新技能“滑动变速”,更

今日上午,小米手机官方表示,小米自研智能动态刷新率,是第二代低功耗2K屏幕的创新体验,第一次让小米12Pro拥有了滑动变速的新技能。小米表示...

发布时间: 2021-12-23 16:31
酷玩   2021-12-23

增速惊人!鸿蒙用户量半年突破2.2亿

C114讯12月23日下午消息在今日举办的华为动机旗舰新品发布会上,华为常务董事、消费者BGCEO、智能汽车解决方案BUCEO余承东公布了鸿...

发布时间: 2021-12-23 16:26
酷玩   2021-12-23

用户群聊从线上走到线下他趣成年轻群体社交困境破局者

伴随当下工作和生活节奏越来越紧凑,婚恋、交友等社交需求逐渐成为年轻人的刚性需求。为满足日益提升的社交需求,他趣用户从线上延伸到线下,通过组织...

发布时间: 2021-12-23 14:59
机器人   2021-12-23

京东会展云“云上服贸会”项目入选中国信通院“2021年数字孪生城市典型案

近日,2022中国信通院ICT+深度观察报告会隆重举办,京东会展云技术支持的中国国际服务贸易交易会数字平台项目入选“2021年数字孪生城市典...

发布时间: 2021-12-23 14:56
机器人   2021-12-23

华为Mate9手机推送鸿蒙HarmonyOS2.0.0.140:新增桌面

华为Mate9手机开始推送鸿蒙HarmonyOS2.0.0.140更新。更新包1优化了音量等基础体验,并新增了桌面图标放大功能。更新包2修复...

发布时间: 2021-12-23 14:41
机器人   2021-12-23
bd9