Cerebras-GPT自然語言處理領(lǐng)域大模型

Cerebras GPT 是由 Cerebras 公司開源的自然語言處理領(lǐng)域的預(yù)訓(xùn)練大模型，其模型參數(shù)規(guī)模最小 1.11 億，最大 130 億，共 7 個模型。

與業(yè)界的模型相比，Cerebras-GPT幾乎是各個方面完全公開，沒有任何限制。不管是模型架構(gòu)，還是預(yù)訓(xùn)練結(jié)果都是公開的。目前開源的模型結(jié)構(gòu)和具體訓(xùn)練細節(jié)如下：