Cointime 报道, 11月17日最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克·里德尔最佳论文奖,核心是用PD分离技术盘活存量算力,通过软件调度把现有算力用足。传统方式下同一批算力轮流处理读入问题和生成回答,PD分离让一组只读题、另一组专门答题,同样硬件规模下系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。
Cointime 报道, 11月17日最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克·里德尔最佳论文奖,核心是用PD分离技术盘活存量算力,通过软件调度把现有算力用足。传统方式下同一批算力轮流处理读入问题和生成回答,PD分离让一组只读题、另一组专门答题,同样硬件规模下系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。