帶你讀論文第十期：上海人工智能實驗室、ICCVW最佳論文獎，鐘怡然博士分享

WhalePaper簡介

本期活動

嘉賓簡介

鐘怡然為上海人工智能實驗室青年科學家，新架構(gòu)探索組PI，負責新一代非Transformer架構(gòu)的高效大語言模型架構(gòu)研發(fā)和視聽語言多模態(tài)融合。在此之前，其在上海商湯智能科技有限公司擔任高級經(jīng)理職位，負責大語言模型、多輪對話以及多模態(tài)融合相關(guān)研究。其博士畢業(yè)于澳洲國立大學，師從李宏東教授和Richard Hartley院士。在國際頂級會議和權(quán)威期刊發(fā)表40余篇論文，包括TPAMI、IJCV、IEEE TIP、CVPR、NeurIPS、ECCV、ICCV、ICLR、EMNLP等，并擁有多項美國專利。成果獲得了國際學術(shù)界與工業(yè)界的廣泛關(guān)注，引用2200余次。獲得了2023 ICCVW最佳論文獎、2014 ICIP的最佳學生論文獎。

分享詳情

Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models

聯(lián)合分享：OpenNLPLab

論文簡介：

近年來，線性注意力作為傳統(tǒng) softmax 注意力的一種高效替代方案，引起了人們的廣泛關(guān)注。線性注意力能夠以線性的計算復雜度處理標記，理論上可以處理長度無限的序列而不損失速度，即在固定內(nèi)存消耗的情況下，保持各種序列長度的恒定訓練速度。然而，由于當前線性注意力算法在因果設置中的累積求和問題，無法展示其理論優(yōu)勢。本文介紹了 Lightning Attention-2，這是第一個實現(xiàn)了線性注意力理論計算優(yōu)勢的線性注意力實現(xiàn)。為了實現(xiàn)這一目標，我們借鑒了平鋪的思想，分別處理線性注意力計算中的內(nèi)部塊和外部塊組件。具體而言，我們利用傳統(tǒng)的注意力計算機制處理內(nèi)部塊，并將線性注意力內(nèi)核技巧應用于外部塊。通過在前向和后向過程中采用平鋪技術(shù)，充分利用了 GPU 硬件。我們將算法實現(xiàn)在 Triton 中，使其具備 IO 感知能力和硬件友好性。我們在不同的模型大小和序列長度上進行了各種實驗。Lightning Attention-2 在輸入序列長度不同的情況下保持了一致的訓練和推理速度，并且顯著快于其他注意力機制。