按 Enter 搜索 · ESC 关闭

AI × Crypto

英伟达推AI内存全栈协同设计:Vera Rubin单GPU HBM仅增约3%,推理吞吐最高提升30倍

英伟达提出AI内存全栈协同设计方案,通过GPU、CPU、网络、存储及软件协同提升内存使用效率,而非单纯增加GPU内存容量。英伟达称,随着模型规模扩大、上下文窗口延长及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。具体做法包括以NVFP4低精度格式压缩模型权重和KV Cache、将不活跃上下文转移至低成本存储层,以及多GPU分布式部署释放HBM空间。在SemiAnalysis AgentX测试中,GB300 NVL72特定工作负载单位成本推理吞吐量最高达H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72最高提升30倍,而单GPU HBM容量仅增加约3%。

分享本文

相关快讯

Cointime 分享卡片
长按上方图片,保存到相册或转发分享
寻求报道 加入社群 意见反馈