華為AI模型量化相關(guān)專利公布,可減少模型占用的內(nèi)存
2025-02-07 10:35
近日,華為技術(shù)有限公司申請的“人工智能模型的量化方法、處理系統(tǒng)和量化單元”專利公布。專欄顯示,量化單元可以基于運行AI模型的計算設(shè)備的各個計算單元的處理粒度,將量化矩陣分割成多個適用于各個計算單元的處理粒度的分塊量化矩陣。量化單元可以對分塊量化矩陣進行量化處理,以得到量化后的分塊量化矩陣,并存儲在存儲器中,可以減少AI模型占用的內(nèi)存。
瀏覽
15評論
圖片
表情
視頻
全部評論
