AI領域最最最稀缺的人才——AI架構(gòu)師
AI 架構(gòu)師這個角色是在最近幾年里逐漸衍生出來的,可謂是人工智能界的“新貴”。
“新”,是因為隨著近幾年來AI工程化落地的人才需求井噴,才催生出了“AI架構(gòu)師”這份職業(yè);“貴”,則是因為這份工作的年薪,由于其人才稀缺性,達到了令人咋舌的程度。在網(wǎng)上隨便一搜,便能發(fā)現(xiàn)各大互聯(lián)網(wǎng)公司開出的薪資,平均竟高達40k-50k,更有甚者可達年薪百萬。
圖片來源:拉勾網(wǎng)
這是隨隨便便工作一年,就湊夠一套北上廣首付的節(jié)奏。若是再加上股票期權(quán)等隱形福利,40歲之前實現(xiàn)財務自由,從此逍遙快活不是夢。
但是,這份工作并不是人人都能做,我們得看看它到底“貴”在哪兒?需要哪些核心技能?
什么樣的人才能讓大廠為之瘋狂?
以阿里巴巴在招的AI高級解決方案架構(gòu)師為例,我們來歸納總結(jié)一下此職位的技能樹:
圖片來源:獵聘網(wǎng)
堅實的機器學習和深度學習理論基礎
能熟練使用Python、Tensorflow等建模工具,對數(shù)據(jù)挖掘、機器學習算法有深入的了解。
豐富的項目實戰(zhàn)經(jīng)驗
包括機器學習算法應用、分布式深度學習框架、數(shù)據(jù)挖掘項目等實際應用的經(jīng)驗。
業(yè)務理解能力
能夠快速理解業(yè)務,將業(yè)務問題轉(zhuǎn)化為實際問題,并給出針對性解決方案。
總的來說,AI架構(gòu)師不僅要對AI知識體系有一個穿透性的理解,更要通過大量的項目實踐,將理論應用到現(xiàn)實中來,而想要達到年薪百萬的水平,還需不斷訓練自己將業(yè)務問題抽象成AI問題的能力,并提出相應的解決方案。
掙錢難嗎?難。
但并不是不可能。
貪心學院
分布式高性能深度學習實戰(zhàn)培養(yǎng)計劃
現(xiàn)在加入,給自己一個躋身金字塔尖的機會
為什么推薦這門課程?
幫你打基礎
各大AI框架設計原理講解,學完你將迅速掌握Tensorflow、Pytorch、Mxnet等常用訓練框架的分布式通信及計算原理。CUDA、MPI、OPENMP等常用并行計算庫的使用。TensorRT、TNN等常用部署框架的設計及使用。模型量化、壓縮、裁剪、混合精度訓練等常用優(yōu)化方法。
帶你做項目
語音、視覺、推薦,三大性能提升項目實戰(zhàn),涵蓋深度學習的目標檢測算法,AI個性化語音合成項目實戰(zhàn),以及基于算法的分布式推薦系統(tǒng)實操。
大廠導師親自帶隊,手把手傳授一線業(yè)務經(jīng)驗
課程主講人任老師,是現(xiàn)任某大廠深度學習高性能負責人,百度深度學習技術(shù)平臺部Paddle資深架構(gòu)師,獵豹移動NR推薦系統(tǒng)及語音識別資深算法工程師,以及中科院信息工程研究所的助理研究員。
曾參與研發(fā)產(chǎn)品包括小愛同學、小雅、小豹智能音箱智能語音系統(tǒng),News Republic新聞推薦系統(tǒng),中科院大規(guī)模GPU+FPGA分布式異構(gòu)計算系統(tǒng),Paddle 集合通信框架及PLSC開發(fā)。資歷豐富,技術(shù)過硬,對于AI架構(gòu)師的能力要求及培養(yǎng)非常有經(jīng)驗。
課程大綱
階段一:基礎準備及概述
Week01 基礎理論及課程介紹
課程安排與三大項目介紹(圖像+語音+推薦)
高性能計算技術(shù)深度學習應用概覽。
矩陣計算基礎理論。
Cupy矩陣加速技術(shù)。
Numba 編譯加速技術(shù)。
練習:使用Cupy實現(xiàn)千萬級矩陣加法運算。
Week02 并行及分布式框架概述
經(jīng)典并行計算方案介紹。
OPENMP技術(shù)詳細介紹。
MPI技術(shù)詳細介紹。
NV集合通信NCCL 技術(shù)介紹。
練習:使用MPI/NCCL/OPENMP實現(xiàn)并行規(guī)約算法。
階段二: 目標檢測項目
Week 03 -Week 05
內(nèi)容簡介:
目標檢測計算機視覺中的經(jīng)典問題。目前已經(jīng)廣泛應用在行人跟蹤、車牌識別、無人駕駛等領域?;谏疃葘W習的目標檢測算法由于具有較高的識別準確率逐漸成為主流。目標檢測算法對實時性要求較高,本項目著力于解決這一問題。
學習目標:
通過目標檢測這類以卷積模塊為主的模型的解構(gòu),掌握并能夠上手自己動手實現(xiàn)卷積等常規(guī)的神經(jīng)網(wǎng)絡算子,并使用TensorRT框架完成基于GPU的目標檢測項目的部署。
Week 03 經(jīng)典卷積網(wǎng)絡回顧
經(jīng)典卷積網(wǎng)絡模型回顧,從Lenet到Resnet。
卷積參數(shù)設計及應用詳解(分組卷積,空洞卷積等)。
卷積層的正向和反向傳播算法。
卷積層的計算優(yōu)化技術(shù)。
練習:樸素2D Conv的Pytorch 插件實現(xiàn)(含反向傳播)。
Week 04 目標檢測算法
RCNN系列模型分析。
YOLO系列模型分析。
SSD系列模型分析。
Tensorrt框架入門。
練習:Tensorrt SSD項目的部署。
Week 05 NvidiaTensort核心算法和Plugin開發(fā)
TensoRT 量化技術(shù)。
TensoRT混合推理的原理。
TensoRT的Plugin開發(fā)流程。
練習:使用不同級別量化對比YOLO 推理性能。
階段三:個性化語音合成項目實戰(zhàn)
Week 06-10
內(nèi)容簡介:
智能化的讀書功能,允許選擇語音音色來進行聽書。導航的智能語音-如百度地圖、高德地圖、傳統(tǒng)Garmin導航等,都支持選擇不同語言進行實時導航。智能音箱-喜馬拉雅FM的小雅、科大訊飛的智能語音輸入,支持辨識活體語音,進行反饋處理再以語音方式反饋回復。這些問題背后都是基于Seq2Seq的深度學習合成模型,該模型結(jié)構(gòu)復雜計算量大,本項目旨在通過通過優(yōu)化解決這一問題。
學習目標:
掌握個性化語音合成中經(jīng)典的聲紋提取、基于Attention的合成模型、以及典型的基于卷積網(wǎng)絡的聲碼器設計。在此基礎上掌握基于ONNX的通用模型轉(zhuǎn)換技術(shù)及基于TensorRT來進行模型部署推理加速。
Week 06:合成項目全貌概覽
合成項目整體介紹。
聲紋提取網(wǎng)絡結(jié)構(gòu)。
Tacotron/Tacoton2 結(jié)構(gòu)介紹。
Wavenet、WaveRNN、WaveGlow 結(jié)構(gòu)介紹。
實踐課:Pytorch 實現(xiàn)Google Speaker Embedding。
Week 07 計算圖表示及優(yōu)化
ONNX計算圖表示方法介紹。
ONNX 圖優(yōu)化的常用技術(shù)。
Pytorch模型轉(zhuǎn)ONNX技術(shù)介紹。
實踐課:實現(xiàn)Google Speaker Embedding 模塊的onnx輸出并進行圖優(yōu)化。
Week 08 Attention-Based Seq2Seq模型Tacotron2
Tacotron2模型整體結(jié)構(gòu)。
Attention技術(shù)回顧。
teacher forcing技術(shù)。
GRU算法的TensorRT實現(xiàn)。
練習:將tacotron2模型輸出為優(yōu)化后的onnx模型并Tensorrt部署。
Week 09 聲碼器: Wave序列生成算法實戰(zhàn)。
聲碼器技術(shù)回顧。
wavenet模型解讀。
WaveRNN模型解讀。
WaveGLow模型解讀。
實踐課:整體部署優(yōu)化后的5s語音合成系統(tǒng)。
階段四:分布式推薦系統(tǒng)
Week 10 – week12
內(nèi)容介紹:
頭條新聞推薦、抖音短視頻推薦、京東商品推薦個性化推薦已經(jīng)成為現(xiàn)代人們生活的一部分。推薦系統(tǒng)特征往往具備稀疏性的問題,如果解決大規(guī)模稀疏模型的訓練時本項目擬解決的問題。
學習目標:
通過推薦系統(tǒng)這一大規(guī)模稀疏特征特性的模型結(jié)構(gòu),了解參數(shù)服務器的設計以及分布式環(huán)境下的反向傳播算法的實現(xiàn),以及常見梯度計算優(yōu)化算法Local SGD,同時具備常用推薦模型的應用部署能力。
Week10 推薦系統(tǒng)概覽
經(jīng)典推薦算法概述。
基于LR的樸素新聞推薦系統(tǒng)設計。
常用Layer的前向傳播和反向傳播算法。以fc和pooling為例。
實踐課:實現(xiàn)最基本的LR推薦。
Week11 分布式參數(shù)服務器
參數(shù)服務器概述。
分布式環(huán)境下的SGD算法。
Range 查詢的高效實現(xiàn)。
實踐課:用pslite實現(xiàn)分布式大規(guī)模矩陣加法。
Week 12:分布式推薦系統(tǒng)實戰(zhàn)
FM算法詳細詳細介紹。
DeepFM算法詳細介紹。
稀疏矩陣的全局參數(shù)更新算法。
實戰(zhàn)項目:用pslite實現(xiàn)分布式FM推薦算法。
階段五 深度學習高級主題
Week13-Week15
內(nèi)容介紹:
深度學習框架日新月異。國際上有Tensorflow、Pytorch、Keras等框架,國內(nèi)有PaddlePaddle、曠世天元,清華計圖等框架,那么這些框架遵循怎樣的設計理念和發(fā)展發(fā)現(xiàn),本階段內(nèi)容通過梳理典型框架的設計來讓學員對這些問題有更為清晰和直觀的認識。
學習目標: 掌握深度學習架構(gòu)的設計思想及技術(shù)演進,通過對核心的框架通信技術(shù)的解讀以及經(jīng)典的圖優(yōu)化算子融合等技術(shù)的講解,讓讀者未來對框架的使用更加熟練。
Week13 深度學習架構(gòu)演進
主流深度學習框架的核心設計思路對比。
第一代系統(tǒng)
第二代系統(tǒng)
第三代系統(tǒng)
實戰(zhàn)項目:paddle中的program技術(shù)分析報告。
Week14 訓練加速高級技術(shù)1
Local SGD原理。
并行執(zhí)行器設計。
實戰(zhàn)項目:動手實現(xiàn)local sgd。
Week15 訓練加速高級技術(shù) 2
深度學習框架分布式通信技術(shù)。
深度學習框架計算圖fuse技術(shù)。
實踐課:TNN fuse技術(shù)源碼分析報告。
階段六 結(jié)業(yè)答辯
Week16 閉幕式
課程總結(jié)
項目答辯
畢業(yè)典禮
這門課程適合誰?
畢業(yè)后希望躋身AI領域的大學生
計算機或者信息領域相關(guān)的本科/碩士/博士生。
畢業(yè)后希望從事深度學習相關(guān)的工作。
想要在深度學習應用外掌握深度學習框架的設計。
想要學習框架二次開發(fā),驗證新算法的能力。
想要實現(xiàn)技能提升,跳槽大廠的在職人士
具備良好的工程研發(fā)背景,希望從事AI相關(guān)的項目或者工作。
從事AI單一領域,但希望具備深度學習從框架到部署優(yōu)化全鏈路能力。
希望能夠提升模型部署中遇到的性能瓶頸時的問題解決能力。
希望提升針對框架進行二次開發(fā)的能力,及時上線新模型新算法。
你需要具備什么基礎,才能達到最佳學習效果?
理工科專業(yè)相關(guān)本科生、碩士生、博士生或者IT領域的在職人士。
具備良好的編程能力,具備良好的C++和Python編程能力。
從事深度學習領域相關(guān)工作,對深度學習訓練、部署及優(yōu)化有初步的認識。
具備良好的論文閱讀能力。
學完課程,你將成為這樣的專業(yè)人才
解決專業(yè)技能不扎實,硬實力薄弱的問題
核心內(nèi)容知識點涵蓋CUDA、Cupy、Numba、TensorRT、TNN、計算圖優(yōu)化、算子融合、 GMM Attention、Forward Attention、tts、Tacotron2、 FastSpeech……你所需要的技能工具,我們都準備好了。
解決實戰(zhàn)經(jīng)驗不足,導致簡歷無項目可寫的問題
從深度學習的應用場景(語音、視覺、推薦項目),到AI項目落地全鏈路流程,包括深度學習系統(tǒng)設計 、并行計算優(yōu)化、部署優(yōu)化、應用,豐富的實踐挑戰(zhàn),讓你的簡歷不再有任何空白。
【劃重點】
本期課程已開班
不想錯過進度的同學
速速掃描下方二維碼報名咯!
