字節(jié)跳動豆包大模型團隊推出UltraMem稀疏模型架構
2025-02-12 12:35
近日,字節(jié)跳動豆包大模型Foundation團隊發(fā)布了一種名為UltraMem的稀疏模型架構。這種架構能夠有效地解決推理過程中的訪存問題,同時保持模型的效果不變。與傳統(tǒng)的MoE架構相比,UltraMem在推理速度上提升了2到6倍,且推理成本最高可降低83%。
瀏覽
10評論
圖片
表情
視頻
全部評論
下載APP2025-02-12 12:35