算法進階

自2017年Transformer模型提出以來，自然語言處理研究逐步轉(zhuǎn)向基于該框架的預訓練模型，如BERT、GPT、BART和T5等。這些預訓練模型與下游任務(wù)適配后，持續(xù)刷新最優(yōu)結(jié)果。然而，現(xiàn)有評測方法存在廣度和深度不足、數(shù)據(jù)偏差、忽視模型其他能力或?qū)傩栽u估等問題。因此，需要全面評測和深入研究模型的

2024 年 7 月 4 日，一年一度的世界人工智能大會 ( WAIC ) 在上海拉開帷幕，多款具身智能機器人驚艷亮相。早在ITF Worl半導體大會上英偉達CEO黃仁勛就曾表示：AI下一個浪潮正是“具身智能”。隨著LLM不斷智能化，具身智能體一定是未來的大勢所趨。至少未來3三年，將會涌現(xiàn)出一大批基

圖神經(jīng)網(wǎng)絡(luò)Transformers是一項機器學習的最新進展，提供了一類用于圖結(jié)構(gòu)數(shù)據(jù)的新型神經(jīng)網(wǎng)絡(luò)模型。Transformers與圖學習的結(jié)合在各種圖相關(guān)任務(wù)中表現(xiàn)出強大的性能和多功能性。本綜述對圖Transformers研究的最新進展和挑戰(zhàn)進行了深入的回顧。我們首先介紹圖和Transformers

本文全面概述了深度學習用于時間序列異常檢測的最新架構(gòu)，提供了基于策略和模型的方法，并討論了各種技術(shù)的優(yōu)點和局限性。此外，還舉例說明了近年來深度學習在時間序列異常檢測中各領(lǐng)域的應用。1  背景時間序列是一系列按照時間順序依次索引的數(shù)據(jù)點。最常見的時間序列形式是按時間記錄的觀察序列。時間序列通

有創(chuàng)新點，就能順利發(fā)paper嗎？當然不是！有了創(chuàng)新點只是開始，模型的編碼、調(diào)試才是重頭戲。很多小伙伴都是改了大量的模型和代碼，實驗結(jié)果卻沒有多少提升，白白耽誤投稿時間。今天就分享一些發(fā)paper必備的工具：82個即插即用縫合模塊！這些模塊就像積木一樣，可以按照自己的想法插入到模型中，構(gòu)建出自己的模

1  介紹本文對大型語言模型的壓縮和效率推理進行了綜述。大型語言模型基于Transformer架構(gòu)，具有強大的性能，但也帶來了巨大的內(nèi)存和計算成本。本文從算法角度對大型語言模型的壓縮和效率推理方法進行了分類，包括量化、剪枝、知識蒸餾、緊湊架構(gòu)設(shè)計和動態(tài)網(wǎng)絡(luò)。大型語言模型有兩個顯著特點：（1

最新【四天+無限學】：ChatGPT-GPT4科研實踐應用與AI繪圖技術(shù)及論文高效寫作培訓班 現(xiàn)場時間： 2024年3月17日-21日?【17日全天報到，全程四天教學】 直播時間： 2024年3月18日-21日?【騰訊會議】 現(xiàn)場地點： 長沙 無...

1? 前言 在傳統(tǒng)軟件工程中，程序問題（即Bugs）會導致程序崩潰，但開發(fā)人員可以通過檢查錯誤來了解原因。 然而，在深度學習中，代碼可能會在沒有明確原因的情況下崩潰。雖然這些問題可以手動調(diào)試，但深度學習模型通...

在計算機、人工智能這個領(lǐng)域的研究生和青椒 ， 發(fā)論文，甚至頂會頂刊，是一道無法繞過的坎。 運氣好的， 遇到有實力、又負責任的導師， 能發(fā)一篇頂刊。 運氣不好的， 被導師一直放養(yǎng)，即使 一天泡十幾小時實驗室，想...

如今，熟練使用像 Keras、TensorFlow 或 PyTorch 之類的專用框架和高級程序庫后，我們不用再經(jīng)常費心考慮神經(jīng)網(wǎng)絡(luò)模型的大小，或者記住激活函數(shù)和導數(shù)的公式什么的。有了這些庫和框架，我們創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)，哪怕是...

導語 新年伊始，OpenAI ?Sora 橫空出世，聲稱是“作為世界模擬的視頻生成模型”（Video generation models as world simulators），讓“世界模型”這一概念再次進入人們的視野。那么什么是世界模型？Sora 到底是不是 wor...

最新 的 《醫(yī)療大數(shù)據(jù)和人工智能產(chǎn)業(yè)報告》中顯示， 人工智能醫(yī)學圖像 已經(jīng)走到行業(yè)最前端，成為人工智能交叉領(lǐng)域中最有熱度的方向之一。 針對所有人工智能醫(yī)學圖像的同學們，我打造了 16節(jié)醫(yī)學圖像系列課程 。涵蓋...

本文中了 2023 ICLR。PatchTST? 作為 Transformer-based 預測模型，它是和計算機視覺中的 ViT 最相似的一篇論文（文章標題也很像）。 它成功超過了 DLinear，也證明了 DLinear 中 Transformer可能不適合于序列預測任...

大家好，我是花哥，之前介紹了 圖神經(jīng)網(wǎng)絡(luò)(GNN)的數(shù)學原理 ，本文介紹圖神經(jīng)網(wǎng)絡(luò)的發(fā)展及應用進展。 雖然 ChatGPT 或生成式 AI 的擴散模型等 AI 大模型在過去幾個月中備受關(guān)注，但圖神經(jīng)網(wǎng)絡(luò) （GNN） 一直在迅速發(fā)展...

Transformer 如今已經(jīng)成為主流，為各種任務(wù)創(chuàng)造了 SOTA 結(jié)果，它是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于處理多種感知模態(tài)數(shù)據(jù)（如圖像、文本、音頻等），比如機器翻譯和文本生成。 我們邀請到哈工大博士李老師為大家直播分...

一、聚類的簡介 聚類分析，也稱為聚類，是一種無監(jiān)督的機器學習任務(wù)。與監(jiān)督學習不同，聚類算法僅依賴輸入數(shù)據(jù)，并致力于在特征空間中找到自然的組或群集。這些群集通常是特征空間中的密度區(qū)域，其中同一群集的數(shù)據(jù)...

量化，簡單說就是程序+交易→盈利。 程序員 ，或許內(nèi)心深處都懷揣著一個量化投資的夢想，渴望憑借自己的編程和人工智能技能，再補點基礎(chǔ)的金融知識，我們便可以構(gòu)建一個量化交易系統(tǒng)，輕松實現(xiàn)財富自由 。這樣的理想...

如果你的導師屬于第一個課題就讓你自己找，沒錢，沒資源，也沒法做指導，唯一會的技能就是問進度的話！那么，你有idea就發(fā)，別管水不水。沒有idea，來研夢非凡！ 原始idea是重要的！ 寫作表達也很重要。 很多同學可...