沉迷于GPT的博士師兄

導(dǎo)師簡(jiǎn)介：Michael老師

-美國(guó)休斯頓大學(xué)博士，美國(guó)某頂尖公司總部資深研究科學(xué)家

-共發(fā)表10余篇SCI國(guó)際期刊和SEG（行業(yè)頂會(huì)）論文，包括一區(qū)期刊Fuel(影響因子6.609)，及二區(qū)期刊Pure and Applied Geophysics(影響因子2.61)；行業(yè)會(huì)議頂刊論文SEG, AAPG, EAGE等

-長(zhǎng)期擔(dān)任SEG (Society of Exploration Geophysicist), AAPG, EAGE等審稿人， IEEE Signal Processing，Pure and Applied Geophysics等國(guó)際頂級(jí)期刊審稿人，并擔(dān)任某國(guó)際會(huì)議Program Chair

-研究領(lǐng)域：圖像識(shí)別，目標(biāo)檢測(cè)，異常值識(shí)別、去噪、圖像合成、數(shù)據(jù)挖掘，NLP、金融量化等

直播大綱

1.使用基于解碼器（decoder）和自注意力機(jī)制（self-attention）的框架搭建自己的gpt模型

2.從文本tokenizer開始，經(jīng)過(guò)embedding，加上位置embedding，計(jì)算注意力

3.經(jīng)過(guò)幾輪訓(xùn)練，實(shí)現(xiàn)一個(gè)gpt“小模型”

近期，蘋果公司正在悄悄研究可以挑戰(zhàn)OpenAI、谷歌和其他公司的 AI 工具，建立自己的框架來(lái)創(chuàng)建大語(yǔ)言模型，大語(yǔ)言模型正迅速成為互聯(lián)網(wǎng)時(shí)代最熱門的技術(shù)創(chuàng)新之一。接下來(lái)，我們來(lái)看看大語(yǔ)言模型的 5大應(yīng)用場(chǎng)景：

一、文本翻譯

大語(yǔ)言模型最簡(jiǎn)單的實(shí)際應(yīng)用之一就是翻譯書面文本。例如，用戶可以向 AI 助手輸入文本，并要求它翻譯成另一種語(yǔ)言，然后應(yīng)用就會(huì)自動(dòng)開始翻譯成自然流暢的文本。

二、惡意軟件分析

大數(shù)據(jù)模型可以利用大量的數(shù)據(jù)來(lái)建立模型，通過(guò)機(jī)器學(xué)習(xí)算法和數(shù)據(jù)挖掘技術(shù)，從中發(fā)現(xiàn)惡意軟件的特征和行為模式，從而可以更好地對(duì)惡意軟件進(jìn)行檢測(cè)、分類和分析。2023 年 4 月，谷歌推出網(wǎng)絡(luò)安全 LLM Sec PaLM 的大語(yǔ)言模型，展示了在惡意軟件分析中的一些用途。

三、創(chuàng)造文本內(nèi)容

大語(yǔ)言模型的另一個(gè)越來(lái)越常見的用途是文本內(nèi)容的創(chuàng)造。各種大語(yǔ)言模型都具備可以按照用戶想法，生成博客、長(zhǎng)篇文章、短篇故事、摘要、腳本、問(wèn)卷、調(diào)查和社交媒體帖子等一系列書面內(nèi)容的能力。用戶提供的想法越詳細(xì)，模型輸出內(nèi)容的質(zhì)量就越高。

四、搜索

許多剛開始接觸大語(yǔ)言模型的用戶，會(huì)首先嘗試將生成式 AI 作為一種替代搜索的工具。用戶只需要使用自然語(yǔ)言向 AI 程序提問(wèn)，程序會(huì)立即回復(fù)，并提供關(guān)于相關(guān)話題的見解和“事實(shí)”。現(xiàn)在市場(chǎng)面已經(jīng)有非常多的搜索引擎，已經(jīng)引入大語(yǔ)言模型，來(lái)帶給用戶更好的體驗(yàn)，例如Bing等。

五、代碼開發(fā)

生成式 AI 工具不僅能生成自然語(yǔ)言，還能生成例如 JavaScript、Python、PHP、Java 和 C# 等編程語(yǔ)言的代碼。大語(yǔ)言模型的代碼生成能力可以使得非技術(shù)用戶也能生成一些基本的代碼。此外，它們還可用于幫助調(diào)試現(xiàn)有代碼，甚至生成注釋文檔。