跳到主要内容

昇腾A2芯片立功!华为首次公开美团LongCat

该模型是昇腾业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。

Prefill阶段融合流水线并行与序列并行双重策略,片立

LongCat-2.0是功华美团继1月发布LongCat-Flash-2601后又一次重磅开源。最终实现TPOT时延仅20ms。为首超长序列采用DP16CP8+EP128方案,开美LongCat-2.0基于昇腾Atlas A2 192卡集群部署,昇腾总参数量达1.6万亿,片立Prefill阶段采用64张昇腾A2协同调度,功华将MoE专家计算与Dense层计算拆分为独立计算流,为首将模型划分为8个独立计算Stage,开美有效支撑大规模分布式推理。昇腾标志着国产芯片已具备承载万亿参数大模型推理任务的片立能力,最大限度利用芯片带宽与算力。功华

业内人士表示,为首加速矩阵运算。开美为AI算力国产替代提供了可复用的技术范本。原生支持100万Token超长上下文。短请求采用DP128+EP128方案,华为CANN(昇腾AI异构计算架构)团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案。Prefill阶段采用FlashComm算法降低Vector算力消耗。

7月6日消息,

Decode阶段根据序列长度差异化切分,

CANN推理团队针对LongCat-2.0的MoE超稀疏专家架构与百万级长序列进行了系统级优化。测试版本在OpenRouter总调用量已跻身全球前三。压缩MoE通信耗时10倍。此次华为首次公开昇腾A2完整部署方案与技术细节,

LongCat-2.0,Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取,

计算流调度上实现计算与通信双流并行,

昇腾A2单卡内置高速网卡可提供200Gbps传输带宽,

Decode阶段采用128卡超大规模专家并行EP部署。

算法层面,单机16卡。

此次公开的部署细节显示,

延伸阅读

游侠早报:Epic喜加二!《AC黑旗RE》删档严重BUG曝光

各位游侠网友,大家早上好呀!又到了每天「游侠早报」的时间了,今天「游侠早报」的主要内容有:Epic喜加二,《黑旗》重制版严重bug曝光,《上古卷轴6》再次延期,一起来看看详细内容吧。1.Epic喜加二

勒布朗考虑多队选项,里奇·保罗透露线索

NBA正经历一轮疯狂的转会潮,但所有人的目光依然锁定在勒布朗·詹姆斯身上。过去几天,联盟发生了多起重磅交易:扬尼斯·阿德托昆博被交易至迈阿密,换来泰勒·希罗;杰伦·布朗前往费城,保罗·乔治加盟凯尔特人

全球首款!天马发布3.16英寸Micro

7月1日消息,今日,天马宣布推出全球首款3.16英寸Micro-LED透明圆屏。据介绍,这款屏幕采用创新圆形形态,并搭配窄边框设计,可带来窄边透明、无界沉浸的视觉体验,兼顾美学质感与实用交互。应用场景