首個(gè)AI程序員:能接單干私活,自動(dòng)微調(diào)大模型!

專注AIGC領(lǐng)域的專業(yè)社區(qū)，關(guān)注微軟&OpenAI、百度文心一言、訊飛星火等大語言模型（LLM）的發(fā)展和應(yīng)用落地，聚焦LLM的市場研究和AIGC開發(fā)者生態(tài)，歡迎關(guān)注！

AI初創(chuàng)公司Cognition在官網(wǎng)發(fā)布了首個(gè)AI程序員——Devin。同時(shí)獲得了2100萬美元A輪融資。

其實(shí)，AI編程這事不新鮮，ChatGPT、Github Copilot、訊飛星火、文心一言等通過問答方式都能輕松完成。

Devin的神奇之處在于，不僅能反饋答案，還能像人一樣實(shí)現(xiàn)端到端的部署、調(diào)試、優(yōu)化代碼，對整個(gè)開發(fā)項(xiàng)目進(jìn)行縝密的計(jì)劃，微調(diào)大模型等，幾乎與編程相關(guān)的任務(wù)都能自動(dòng)化完成。

其展示的案例中，在Upwork（自由工作平臺）上為Devin找了一個(gè)編程的私活，要求提供一份關(guān)于Github的視覺模型的配置和推理文件。

Devin 接單獨(dú)立完成任 務(wù)演示

當(dāng)Devin接到任務(wù)后，從代碼庫拷貝、配置、Bug修復(fù)、代碼更新、調(diào)試運(yùn)行等全部自己獨(dú)立完成，最后提交了成功運(yùn)行結(jié)果以及一份詳細(xì)的配置文件。性能非常強(qiáng)悍，感覺像是一個(gè)智能代理+ChatGPT的結(jié)合體。

目前，Devin處于內(nèi)測階段對這個(gè)產(chǎn)品感興趣的小伙伴，可以點(diǎn)擊閱讀全文申請?jiān)囉觅Y格。

Devin其他功能展示

除了接單干私活之外，Cognition還展示了Devin其他超強(qiáng)功能。例如，發(fā)送一個(gè)Github存儲庫，然后按照其文檔說明來微調(diào)Llama-7B大模型。

Devin： 沒問題，我會(huì)查看存儲庫并按照Readme中的說明對Llama7B模型進(jìn)行微調(diào)。首先，我需要克隆存儲庫并查看文檔以了解全部過程，隨時(shí)會(huì)向開發(fā)者通報(bào)最新進(jìn)展。

接著，Devin在部署的時(shí)候遇到了問題，是一個(gè)關(guān)于Nvidia配置的事情，很快它便自行解決開始了模型微調(diào)工作。

在微調(diào)的過程中，開發(fā)者也可以將Devin設(shè)置成待命狀態(tài)，就不會(huì)主動(dòng)執(zhí)行監(jiān)督微調(diào)工作，可以幫你完成其他任務(wù)。

經(jīng)過大約1小時(shí)的時(shí)間，詢問Devin微調(diào)進(jìn)行的怎么樣了？它會(huì)告訴你，在計(jì)劃中的1萬次迭代中，已經(jīng)完成了404次，損失值總體呈下降趨勢效果顯著，并且會(huì)持續(xù)監(jiān)視，當(dāng)出現(xiàn)任何問題時(shí)會(huì)及時(shí)向你匯報(bào)。

Devin可以輕松處理開源軟件源中的錯(cuò)誤和功能請求 ，只需提供 GitHub的鏈接，就能快速完成所有關(guān)鍵設(shè)置和上下文收集。

Devin還具備自學(xué)能力 ，例如，開發(fā)人員將一篇博文發(fā)送給了Devin，使其學(xué)會(huì)了如何在模態(tài)上運(yùn)行 ControlNet，并按照要求生成一些圖像。

Devin可以自主查找并修復(fù)代碼庫中的錯(cuò)誤 ，例如，Devin 幫助開發(fā)人員維護(hù)和調(diào)試他的開源庫并找出錯(cuò)誤和優(yōu)化方案。

Devin性能評測

開發(fā)人員在評估平臺SWE-bench對Devin進(jìn)行了綜合測試，需要AI在 Django、scikit-learn等開源項(xiàng)目中，發(fā)現(xiàn)真實(shí)GitHub出現(xiàn)的問題并進(jìn)行修復(fù)。該評測一共有“無人協(xié)助”和“有人協(xié)助”兩種模式

結(jié)果顯示，在無人幫助的情況下，Devin 端到端正確地解決了13.86%的代碼問題，超過了之前由Claude 2保持的1.96%記錄。

有人協(xié)助評測報(bào)告（Devin依然使用的是無人模式）

即便是有人協(xié)助下，Devin還是以13.86%成績超過了GPT-4、GPT-3.5、Claude 2等知名大模型。

Cognition簡單介紹

根據(jù)彭博的介紹，Cognition是一家成立不到2個(gè)月的小公司，辦公地點(diǎn)是一間從Airbnb租的小公寓。

但其10位初創(chuàng)人員來頭不小，人手一枚IOI 金牌（國際信息學(xué)奧林匹克競賽），同時(shí)在Scale AI、Google DeepMind、Waymo 和 Nuro等頂級AI公司擔(dān)任過領(lǐng)導(dǎo)崗位，對AI的功能創(chuàng)新有很深的理解以及開發(fā)能力。

Cognition初創(chuàng)團(tuán)隊(duì)

最近，Cognition獲得了由Founders Fund領(lǐng)投的2100萬美元A輪融資，Patrick Collison、John Collison、Elad Gil等個(gè)人投資者跟投。

Cognition表示，Devin只是一個(gè)開始，未來會(huì)嘗試推出更多功能強(qiáng)大實(shí)用的AI產(chǎn)品。

本文素材來源Cognition官網(wǎng)，如有侵權(quán)請聯(lián)系刪除

END