大家好，今天繼續(xù)聊聊科技圈發(fā)生的那些事。

一、Cradle

Cradle，一款全新的框架，使大模型可以通過(guò)人類平時(shí)瀏覽的操作界面，執(zhí)行復(fù)雜的計(jì)算機(jī)任務(wù)。

還記不記得，前些日子微軟展示的，基于GPT-4o，讓Copilot實(shí)時(shí)為你提供游戲操作建議？例如當(dāng)你進(jìn)行到游戲的某個(gè)步驟的時(shí)候，Copilot會(huì)建議你該做什么，并且給你提供相應(yīng)的教程。

而 Cradle 以屏幕截圖作為輸入，以鍵盤和鼠標(biāo)操作作為輸出。這意味著什么？Cradle甚至能代替人工操作者，直接根據(jù)實(shí)時(shí)的截圖，像人一樣進(jìn)行鼠標(biāo)和鍵盤的操作！

Cradle 的框架實(shí)現(xiàn)大致分為以下幾個(gè)步驟：

• 信息收集：Cradle 從視頻片段中提取所有有用的視覺(jué)和文本信息（包括布局、圖像、動(dòng)畫(huà)和UI元素等），以便理解當(dāng)前情況并進(jìn)行進(jìn)一步推理。同時(shí)，通過(guò)OCR技術(shù)提取圖像中的文本信息，包括內(nèi)容（標(biāo)題和段落）、導(dǎo)航標(biāo)簽（菜單和鏈接）、通知和指示等。

• 技能和動(dòng)作生成：Cradle 利用LMM生成代碼函數(shù)作為語(yǔ)義級(jí)別的技能，這些技能封裝了較低級(jí)別的鍵盤和鼠標(biāo)控制，將LMM生成的語(yǔ)義動(dòng)作與操作系統(tǒng)級(jí)別的可執(zhí)行動(dòng)作連接起來(lái)。類似于人類在游戲中的逐步提高，這些技能可以根據(jù)游戲教程、指南、游戲手冊(cè)和設(shè)置獲得，也可以是自我成長(zhǎng)。這些技能也可以預(yù)定義或組合以解決更復(fù)雜的任務(wù)。

• 動(dòng)作執(zhí)行：在Cradle生成動(dòng)作并決定在環(huán)境中執(zhí)行后，將觸發(fā)執(zhí)行器將這些語(yǔ)義動(dòng)作映射為操作系統(tǒng)級(jí)別的鍵盤和鼠標(biāo)命令，以與環(huán)境進(jìn)行交互。

目前 Cradle 已經(jīng)可以在應(yīng)用和游戲領(lǐng)域取得非常優(yōu)秀的表現(xiàn)。CRADLE不僅能夠操作日常軟件，如Chrome、Outlook和飛書(shū)，還能夠使用美圖和剪映進(jìn)行圖片和視頻編輯。

在游戲方面，Cradle 史無(wú)前例地跟隨《荒野大鏢客2》的主線劇情游玩了40分鐘，在《都市：天際線》中創(chuàng)建一個(gè)擁有千人的城市，在《星露谷物語(yǔ)》中種植和收獲防風(fēng)草，甚至在《當(dāng)鋪人生2》中能夠進(jìn)行交易和議價(jià)，在一周內(nèi)實(shí)現(xiàn)87%的最大化總利潤(rùn)！

想象一下，當(dāng)你找不到小伙伴和你一起聯(lián)機(jī)游玩《星露谷物語(yǔ)》時(shí)，你可以找到 Cradle 幫你打理你的農(nóng)場(chǎng)。或者下一次打開(kāi)直播間，標(biāo)題掛著的可能就是“AI獨(dú)立通關(guān)xxx游戲”了。Cradle 展現(xiàn)出的能力十分驚嘆，期待這個(gè)項(xiàng)目后續(xù)的發(fā)展。

項(xiàng)目地址：

https://github.com/baai-agents/cradle

二、LivePortrait

近日，快手和復(fù)旦大學(xué)、中科大共同研發(fā)的 LivePortrait 開(kāi)源了。這同樣是一款圖生視頻的大模型。提供一張正臉照，一段視頻，照片上的人物就會(huì)栩栩如生的模仿視頻中的表情了。

不知道大家有沒(méi)有用過(guò)蘋果的擬我表情，就是那個(gè)你可以選擇一個(gè)動(dòng)物或者其他東西的貼紙，然后錄制一小段視頻，貼紙角色會(huì)模仿你的口型。LivePortrait 實(shí)現(xiàn)的其實(shí)和這個(gè)功能差不多。其實(shí)這類數(shù)字人項(xiàng)目我們也介紹過(guò)很多，不過(guò)這次的 LivePortrait 是國(guó)產(chǎn)團(tuán)隊(duì)研發(fā)的，性能也很不錯(cuò)，生成視頻超快。

通過(guò)擴(kuò)展訓(xùn)練數(shù)據(jù)到約 6900 萬(wàn)高質(zhì)量幀和采用混合圖像視頻訓(xùn)練策略，LivePortrait 能夠更好地泛化，適應(yīng)更多不同類型的輸入數(shù)據(jù)。此外，LivePortrait 利用緊湊的隱式關(guān)鍵點(diǎn)代表混合形狀，并設(shè)計(jì)縫合和重定向模塊，這些模塊使用計(jì)算開(kāi)銷極小的小型MLP，從而增強(qiáng)了對(duì)生成動(dòng)畫(huà)的控制能力。

甚至經(jīng)過(guò)微調(diào)，你可以讓小動(dòng)物們模仿人的表情！

項(xiàng)目的部署也比較簡(jiǎn)單，首先克隆倉(cāng)庫(kù)，使用conda創(chuàng)建虛擬環(huán)境，安裝所需的依賴項(xiàng)和FFmpeg。然后下載模型的權(quán)重文件，放到相應(yīng)的目錄，通過(guò)腳本運(yùn)行即可。當(dāng)然，如果你缺少一些相應(yīng)的算力或是嫌部署過(guò)于麻煩，你也可以通過(guò) HuggingFace 在線使用。感興趣的小伙伴可以自行體驗(yàn)看看。

在線體驗(yàn)地址：

https://huggingface.co/spaces/KwaiVGI/LivePortrait

項(xiàng)目地址：

https://github.com/KwaiVGI/LivePortrait

好了，本期的內(nèi)容就是這么多，我們下期再見(jiàn)！