亚洲无码免费视频,日本大香蕉视频,国产靠比,综合免费视频,人人看人人摸人人插,热亚洲热中文热日韩,久久精品无码一区二区小草千夏 ,久久久久久免费一级A片

大消息來了！Grok開源了！314B的MOE大模型！馬斯克大格局！

水木人工智能學(xué)堂

共 2106字，需瀏覽 5分鐘

2024-04-11 22:52

前段時間馬斯克訴訟OpenAI并且稱其已然違背創(chuàng)始人協(xié)議，指責(zé)OpenAI應(yīng)當(dāng)開源，并且在3.11號時承諾的一周內(nèi)開源Grok，并嘲諷OpenAI是CloseAI。

而現(xiàn)在，美國東部時間3月17日下午16點，馬斯克在美國周的最后一天兌現(xiàn)了承諾！將314B的Gork-1超大模型開源了！

項目地址：https://github.com/xai-org/grok

博客地址：https://x.ai/blog/grok-os

模型權(quán)重下載磁力鏈接：

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

博客內(nèi)容如下：

我們正在發(fā)布我們的大型語言模型 Grok-1 的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)。Grok-1 是一個 3140 億參數(shù)的專家混合模型，由 xAI 從頭開始訓(xùn)練。

這是 2023 年 10 月結(jié)束的 Grok-1 預(yù)訓(xùn)練階段的原始基礎(chǔ)模型檢查點。這意味著該模型不會針對任何特定應(yīng)用（例如對話）進行微調(diào)。

我們將在 Apache 2.0 許可下發(fā)布權(quán)重和架構(gòu)。

要開始使用該模型，請按照 github.com/xai-org/grok 中的說明進行操作。

型號詳細(xì)信息

基礎(chǔ)模型在大量文本數(shù)據(jù)上訓(xùn)練，未針對任何特定任務(wù)進行微調(diào)。

314B 參數(shù) Mixture-of-Experts 模型，其中 25% 的權(quán)重在給定令牌上處于活動狀態(tài)。

2023 年 10 月，xAI 使用 JAX 和 Rust 之上的自定義訓(xùn)練堆棧從頭開始訓(xùn)練。

— 完 —

版權(quán)聲明：本號內(nèi)容部分來自互聯(lián)網(wǎng)，轉(zhuǎn)載請注明原文鏈接和作者，如有侵權(quán)或出處有誤請和我們聯(lián)系。

點贊

評論

舉報

大消息來了！Grok開源了！314B的MOE大模型！馬斯克大格局！

大消息來了！Grok開源了！314B的MOE大模型！馬斯克大格局！