按 Enter 搜索 · ESC 关闭

AI × Crypto

我国日均词元调用量突破500万亿 算力需求暴涨

11月17日最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克·里德尔最佳论文奖,核心是用PD分离技术盘活存量算力,通过软件调度把现有算力用足。传统方式下同一批算力轮流处理读入问题和生成回答,PD分离让一组只读题、另一组专门答题,同样硬件规模下系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。

分享本文

相关快讯

Cointime 分享卡片
长按上方图片,保存到相册或转发分享
寻求报道 加入社群 意见反馈