微軟深夜再掀AI生產(chǎn)力革命，奧特曼登臺(tái)「自曝」新模型！定制Copilot十億打工人狂歡

---

  新智元報(bào)道  

編輯：編輯部

【新智元導(dǎo)讀】微軟昨夜剛上演了一波AI PC革命，今天又全是Copilot。而最讓人意外的，竟是奧特曼本人登臺(tái)預(yù)告了下一代模型將會(huì)帶來新的模態(tài)和整體智能。

AI生產(chǎn)力的革命，微軟怎會(huì)缺席？

在今天的開發(fā)者大會(huì)上，曾經(jīng)誓要「顛覆」10億打工人的Copilot，依然是全程的主角。

沒想到70年后，還是要靠微軟重新定義軟件

不僅有Copilot加持的全新AI PC，日常生活助手Copilot，還有為全世界開發(fā)者提供的AI工具堆棧。

更驚喜的是，Sam Altman竟然在發(fā)布會(huì)的最后，被CTO Kevin Scott請上了臺(tái)！

兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！

針對前段時(shí)間的OpenAI離職潮，奧特曼似乎用了一些隱晦的話語來暗戳戳回應(yīng)：「為了讓GPT變得穩(wěn)健、安全，我們做了很多工作。OpenAI 創(chuàng)建了眾多團(tuán)隊(duì)來確保LLM按預(yù)期工作。」

三大殺器

過去的一年半里，世界發(fā)生了諸多變化，其中最令A(yù)ltman本人震驚的事是什么？

Altman表示，數(shù)百萬開發(fā)者是推動(dòng)過去一年里世界巨變的核心。

從GPT-4 ，再到GPT-4o的發(fā)布，盡管模型API推出時(shí)間不久，但我從未見過一項(xiàng)技術(shù)能如此迅速地得到有意義的應(yīng)用。

人們正在構(gòu)建我們從未想過的創(chuàng)新應(yīng)用，完全展現(xiàn)了開放API的價(jià)值所在。

而Kevin Scott也調(diào)侃道：看得出來，你們很好地利用了手里的超強(qiáng)超算。

2020年交付的「鯊魚」級超算訓(xùn)出了GPT-3，接下來的「虎鯨」級超算訓(xùn)出GPT-4，而現(xiàn)在「鯨魚」級超算微軟正交付給OpenAI

奧特曼還表示，新的模態(tài)和整體智能將是OpenAI下一個(gè)模型的關(guān)鍵。

他預(yù)計(jì)模型將會(huì)變得更智能、更強(qiáng)大，更安全，而且GPT-4o將會(huì)速度更快，成本更低。

是的，就像摩爾定律推動(dòng)信息革命一樣，Scaling Law和模型架構(gòu)一起，改變了我們使用數(shù)據(jù)、生成數(shù)據(jù)的方式。

在這些縮放定律的影響下，我們擁有一個(gè)新的自然用戶界面，這是一個(gè)模型，這意味著支持文本、語音、圖像、視頻作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構(gòu)建AI程序、解決方案等。

還有一個(gè)重頭戲，當(dāng)然就是昨天發(fā)布的全新Copilot+ PC，它直接打破了紀(jì)錄，成為有史以來最快的AI電腦！

如今，Windows成為了構(gòu)建AI應(yīng)用的最佳平臺(tái)。而這種影響，不啻于Win 32對圖形用戶界面的意義。

GitHub Copilot「插件商店」首發(fā)

繼Copilot成為最流行的代碼補(bǔ)全工具和「個(gè)人助理」之后，微軟本次又更新了這個(gè)效率提升神器。

微軟表示，很多開發(fā)者在代碼之外花費(fèi)了75%的時(shí)間，比如追蹤工作流、以及撰寫需求文檔和規(guī)格說明等。

不僅如此，定位和修復(fù)bug的工作往往需要頻繁進(jìn)行上下文切換，開發(fā)者在數(shù)據(jù)庫、IDE、代碼倉庫、監(jiān)控工具、云平臺(tái)之間疲于奔命，無法專注于代碼本身。

這正是全新GitHub Copilot可以發(fā)揮作用的地方。

它可以通過對話的方式將所有流程整合在一起，幫你調(diào)用所有工具和平臺(tái)，開發(fā)者只需要專注于IDE界面的核心代碼內(nèi)容，最大限度減少上下文切換。

不僅如此，基于強(qiáng)大的網(wǎng)絡(luò)搜索和推理決策能力，Copilot還能回答關(guān)于開發(fā)過程的問題。

比如在下面這個(gè)demo中，用西班牙語描述需求，Copilot就可以自動(dòng)編寫出代碼，并為Azure上的部署提供建議。

GitHub產(chǎn)品副總裁表示：「使用自然語言編程將繼續(xù)降低軟件開發(fā)的門檻。未來，10億人可以利用GitHub Copilot，以自然語言的方式與開發(fā)技術(shù)棧中的任何工具集成，在GitHub上構(gòu)建代碼。」

GitHub Copilot支持各種各樣的開發(fā)工具和平臺(tái)，包括DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe以及微軟自家的Office全家桶、Azure和Teams。

GitHub產(chǎn)品高級副總裁Mario Rodriguez表示：「我們的目標(biāo)是使GitHub Copilot成為最集成、最強(qiáng)大、最智能的AI平臺(tái)。」

在此基礎(chǔ)上延伸出的Copilot Workspace更是提高了開發(fā)團(tuán)隊(duì)使用GitHub管理項(xiàng)目代碼的效率。

之前，用戶只能通過Git Bash命令行上傳項(xiàng)目文件，圖形化界面能進(jìn)行的操作非常有限。

有了Copilot Workspace，各種時(shí)間線和代碼分支一目了然，上傳文件也容易很多。

而且還提供了非常清晰的代碼變動(dòng)可視化界面，讓你自始至終都對項(xiàng)目有滿滿的掌控感。

截止目前，GitHub Copilot仍處于內(nèi)測階段，之后將在GitHub插件市場中發(fā)布。

不僅如此，對開發(fā)者來說，更酷的是——你可以定制自己的Copilot插件！

3種方式，定義自己的Copilot插件

SharePoint

SharePoint是微軟開發(fā)的用于組織內(nèi)部存儲(chǔ)、管理和共享內(nèi)容的平臺(tái)，每天上傳數(shù)量超過20億條。

為了減少工作中搜索和篩選內(nèi)容的時(shí)間，微軟開發(fā)了從SharePoint創(chuàng)建Copilot的功能。

任何擁有SharePoint網(wǎng)站編輯權(quán)限的人，只需點(diǎn)擊幾下就可以自定義Copilot功能，還可以通過Teams聊天框、電子郵件等方式將創(chuàng)建好的Copilot分享給團(tuán)隊(duì)中其他成員。

點(diǎn)選好SharePoint中允許訪問的內(nèi)容范圍，以及Copilot的身份和行為等信息，它就可以立刻投入工作了。

比如內(nèi)容回答問題、總結(jié)信息或者查找文件，基于你之前授權(quán)給它的內(nèi)容，Copilot可以提供最新、最準(zhǔn)確的響應(yīng)。

想要在SharePoint之外創(chuàng)建自己的Copilot?

沒問題！微軟還發(fā)布了Copilot Studio，提供更靈活的自定義功能。

Copilot Studio

在SharePoint之外，Copilot Studio支持超過1000個(gè)數(shù)據(jù)連接器，方便你將各種數(shù)據(jù)源導(dǎo)入Copilot。

Copilot Studio依舊采用類似SharePoint中「對話驅(qū)動(dòng)」的界面，你可以像聊天一樣描述——想要Copilot有什么樣的知識和功能，Copilot Studio就可以立即創(chuàng)建，并支持實(shí)時(shí)的測試、修改和發(fā)布。

為了用戶更容易上手使用，Studio中還內(nèi)置了各種Copilot模板，比如用于組織清晰度的Organizatiion Navigator、用于員工健康管理的Wellness等，未來幾個(gè)月還會(huì)有更多Copilot模板發(fā)布。

使用Copilot Studio，你會(huì)有一種一切盡在掌握的感覺。

VSCode

如果你是一個(gè)高端玩家，更喜歡用代碼優(yōu)先的方式構(gòu)建插件，也可以使用Visual Studio Code和Teams Toolkit，編寫函數(shù)來精準(zhǔn)定義Copilot的工作流。

Copilot新能力解鎖

Copilot早就不止步于代碼補(bǔ)全功能，而是已經(jīng)演變「個(gè)人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺(tái)合作，構(gòu)建起一套完整的「Copilot生態(tài)」。

本次Build大會(huì)上，微軟又為Copilot解鎖了一系列新功能。

Team Copilot

Team Copilot將功能延伸到「個(gè)人助理」之外，開始成為團(tuán)隊(duì)的一員。

它能承擔(dān)單獨(dú)的職責(zé)，提升整個(gè)團(tuán)隊(duì)的工作效率，比如組織并記錄會(huì)議、跟蹤討論內(nèi)容等，甚至可以充當(dāng)項(xiàng)目經(jīng)理，為成員分配任務(wù)并及時(shí)跟進(jìn)ddl。

對于聊天界面中團(tuán)隊(duì)成員們的討論進(jìn)展，Copilot還能實(shí)時(shí)更新自己的記錄內(nèi)容。

可以在Microsoft自家開發(fā)的Teams、Loop或者Planner等協(xié)作辦公軟件中使用Team Copilot。

這項(xiàng)功能將在今年晚些時(shí)候以預(yù)覽版形式向有Copilot許可證的用戶發(fā)布。

Agents Copilot

如果Copilot僅僅進(jìn)化到團(tuán)隊(duì)助手，你可能還是小看了微軟。

就像用戶可以自定義Copilot插件一樣，你也可以使用Copilot Studio自定義一個(gè)Copilot Agent。

它不再像原來一樣被動(dòng)地等著你問問題或者分配任務(wù)，而是變成「事件觸發(fā)」的智能體，像虛擬員工一樣工作并自動(dòng)執(zhí)行任務(wù)。

這意味著，Copilot Agent不僅需要記憶、上下文推理以及根據(jù)反饋學(xué)習(xí)的能力，而且需要更加主動(dòng)，能夠在后臺(tái)自發(fā)執(zhí)行任務(wù)。

這樣的Copilot豈不是會(huì)讓一大批白領(lǐng)失業(yè)？

微軟業(yè)務(wù)應(yīng)用程序和平臺(tái)公司副總裁Charles Lamanna在采訪中表示，它可以消除一些重復(fù)、瑣碎的工作，例如數(shù)據(jù)輸入等，也許都是沒有人真正想做的事情。

GPT-4o上新，多款基礎(chǔ)模型可用

除了Copilot華麗的演示之外，在開篇提到的三個(gè)平臺(tái)中，最核心的是構(gòu)建最完整的端到端堆棧——Copilot stack。

其中，最底層是基礎(chǔ)設(shè)施，然后是基礎(chǔ)模型層。

基礎(chǔ)設(shè)施

為了AI工作負(fù)載，微軟特意構(gòu)建了全新的數(shù)據(jù)中心。

因此，微軟可以用每一兆瓦的功率，來降低AI的成本和功耗。

截止2024年5月，Azure超算能力已經(jīng)實(shí)現(xiàn)了30倍的增長！

可以說，他們提供了世界上最先進(jìn)的AI加速器，開發(fā)者可以擁有最完整的AI加速器選擇。

從GPT-4到GPT-4o，不僅模型的速度提高了6倍，成本更是便宜了12倍。

而這背后，是微軟與英偉達(dá)、AMD的深度合作，以及自研芯片的大力推進(jìn)。

英偉達(dá)關(guān)鍵平臺(tái)產(chǎn)品，都會(huì)引入微軟的云中。

而說到和AMD的合作，微軟是第一個(gè)提供最新ND MI300X v5虛擬機(jī)的云服務(wù)供應(yīng)商。

無論對于AMD，還是對于微軟，這都是一個(gè)意義重大的里程碑。

自研Azure Maia 100，只要你用過微軟的服務(wù)，或多或少都會(huì)接觸到。

而最新Azure Cobalt也開始進(jìn)行公開預(yù)覽了，目前已經(jīng)為Microsoft Teams等服務(wù)提供了數(shù)十億次對話的支持。

基礎(chǔ)模型

在基礎(chǔ)模型方面，微軟與OpenAI展開了深度合作，而現(xiàn)在GPT-4o可以在Azure上進(jìn)行訓(xùn)練。

一張圖，展示了GPT-4o依舊是最強(qiáng)的模型。

而在如此強(qiáng)大的模型的加持下，Copilot甚至已經(jīng)「進(jìn)化」到指導(dǎo)我們怎么玩游戲了！

舉個(gè)例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無頭緒。

Copilot會(huì)從頭教你：為了造一把劍，你需要先收集材料。按E鍵，就能打開自己的材料庫了。

Copilot發(fā)現(xiàn)，我們?nèi)鄙僦谱鲃θ械牟牧希瑸榇耍枰占静摹⑹^、鐵、金或者鉆石。

忽然出現(xiàn)的小人，讓玩家嚇了一跳。

Copilot提示道：這是一場僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個(gè)避難場所，還可以挖到山的另一側(cè)。

此外，微軟首次介紹了十分強(qiáng)大的Agent能力。

想露營但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見了。

Agent分析道，這款非常適合夏季遠(yuǎn)足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。

既然如此，我們就讓Agent直接挑一款最合適的。

Agent發(fā)現(xiàn)，這次最合適的產(chǎn)品是TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區(qū)為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購物車中。

當(dāng)然，除了OpenAI的模型之外，微軟Azure平臺(tái)還將提供多款可用的模型。

并且，微軟依舊擁抱開源社區(qū)，與Hugging Face合作。

最強(qiáng)小語言模型：Phi-3

除了引入外部模型之外，微軟一直以來都在押注小模型，并引領(lǐng)了一場SLM革命。

從去年6月Phi-1面世，到Phi-1.5、Phi-2，再到如今Phi-3，微軟小模型已經(jīng)完成四次迭代升級。

今天，Phi-3家族正式官宣新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實(shí)，Phi-3-small，Phi-3-medium對于每個(gè)人來說，或許并不陌生了。

上個(gè)月，微軟首次亮相Phi-3-mini，經(jīng)過3.3萬億token訓(xùn)練僅有38億參數(shù)，而且還可以部署在手機(jī)上，性能與Mixtral 8x7B和GPT-3.5相媲美。

論文地址：https://arxiv.org/pdf/2404.14219

另外，技術(shù)報(bào)告中，還首次展示了經(jīng)過4.8T token訓(xùn)練的7B模型Phi-3-small，以及14B模型Phi-3-medium。

具體來說，Phi-3-small提供了8k和128k上下文，實(shí)力與Llama-3-8B-In、Gemma 7B，以及Mistral 7B相當(dāng)。

而提供了4k和128k上下文的Phi-3-medium，性能可以超越Mistral 8x7B。

而現(xiàn)在，這些模型已經(jīng)在Hugging Face上發(fā)布，開發(fā)者們可以下載權(quán)重并使用。

多模態(tài)Phi-3

真正引人關(guān)注的是，Phi-3在今天正式推出了多模態(tài)模型Phi-3-vision，有42億參數(shù)，128k上下文。

它可以完成一般的視覺推理任務(wù)，比如現(xiàn)場演示中，詢問圖表中的信息。

甚至，人們還可以使用Phi-3-vision進(jìn)行OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型僅用了一天半的時(shí)間，在512塊H100上完成了訓(xùn)練。

它使用了500B視覺和文本token，其中「教科書數(shù)據(jù)集」一直以來是Phi系列模型的訓(xùn)練核心。

這次，Phi-3-vision的訓(xùn)練的圖像數(shù)據(jù)來自，精選高質(zhì)量圖文搭配的內(nèi)容，還有新創(chuàng)建的「教科書」式的綜合數(shù)據(jù)。

其中包括，圖表、表格、示意圖、幻燈片等教授的數(shù)學(xué)、編碼、常識推理等。

盡管參數(shù)量級非常小，在多模態(tài)基準(zhǔn)測試中，Phi-3-vision的性能超越了Claude 3 haiku、LlaVa和Gemini 1.0 Pro。

甚至，各項(xiàng)性能非常接近GPT-4V。

一些開發(fā)者已經(jīng)上手體驗(yàn)了，并稱令人印象極為深刻。

還有一些開發(fā)者們也決定嘗試一番。

以上Phi-3模型，不僅可以在云端運(yùn)行，甚至可以在本地運(yùn)行。

SOTA小模型Phi-Silica

此外，納德拉還在今天發(fā)布了Phi系列的SOTA模型——Phi-Silica。

微軟稱，這是一款專為Copilot+ PC設(shè)計(jì)的33億參數(shù)模型，每秒可以處理650 token的，功率消耗約為1.5瓦。

這就意味著，Phi-Silica不會(huì)占用大量算力，并可以釋放PC的CPU和GPU來處理其他計(jì)算。

另外，它的token生成會(huì)重用NPU的KV緩存，并在CPU上運(yùn)行，大約每秒可輸出27個(gè)token。

微軟表示，「Phi-Silica的不同之處在于，它是Windows首個(gè)本地部署的語言模型」。

它針對Copilot+PC NPU進(jìn)行了優(yōu)化，可在本地設(shè)備上實(shí)現(xiàn)超快的推理響應(yīng)速度。

這是Windows將先進(jìn)的AI技術(shù)直接帶給第三方開發(fā)者的一個(gè)里程碑時(shí)，為他們開發(fā)出色的Windows原生體驗(yàn)和第三方體驗(yàn)鋪平了道路。

Phi-3模型最新的應(yīng)用，便是微軟還和可汗學(xué)院聯(lián)合打造教育模型。

在模型的幫助下，學(xué)生們不僅得到了個(gè)性化的AI指導(dǎo)，老師們也感受到了自己的價(jià)值。

更重要的是，在Phi-3的加持下，能夠免費(fèi)提供給教育工作者的Khanmigo，必將極大地改變美國的教育界。

Windows

Copilot+ PC將重新定義任何一個(gè)人在PC所做的一切。

Pavan Davuluri展示了Copilot加持下的玩家，不用谷歌搜索，詢問即可通過被卡住的關(guān)卡。

通過將Copilot集成到XBox中，可以大幅提升游戲體驗(yàn)。

此外，微軟還與Quest聯(lián)手，將Copilot帶進(jìn)VR世界，并為Quest帶來可擴(kuò)展到3D空間的Windows應(yīng)用程序。

參考資料：

https://build.microsoft.com/en-US/home#live-stream