LLaSM中英文雙語語音-語言助手

LLaSM 是第一個(gè)支持中英文雙語語音-文本多模態(tài)對(duì)話的開源可商用對(duì)話模型。便捷的語音輸入將大幅改善以文本為輸入的大模型的使用體驗(yàn)，同時(shí)避免了基于 ASR 解決方案的繁瑣流程以及可能引入的錯(cuò)誤。

同時(shí)發(fā)布的還有中英文語音 SFT 數(shù)據(jù)集 LLaSM-Audio-Instructions。包含 19.9 萬個(gè)對(duì)話和 50.8 萬個(gè)語音-文本樣本，是目前所知最大的中英文語音-文本跨模態(tài)指令跟隨數(shù)據(jù)集。

模型框架

基礎(chǔ)演示

在線試玩

Talk is cheap, Show you the Demo.

• Demo 地址 / Hugging Face Spaces

資源下載

• Hugging Face模型下載：

  • LLaSM-Chinese-Llama-2-7B
  • LLaSM-Baichuan-7B

• 百度網(wǎng)盤下載:

  • LLaSM-Chinese-Llama-2-7B
  • LLaSM-Baichuan-7B

• 語言模型:

  • Chinese-Llama-2-7b
  • Baichuan-7B

• 數(shù)據(jù)集：LLaSM-Audio-Instructions