大模型（LLM）下載的四種方式

作者：江流兒的NLP

文章地址：https://zhuanlan.zhihu.com/p/662017962

因?yàn)榇竽Ｐ蛣?dòng)輒十幾GB的大小，因?yàn)閷?duì)于開發(fā)人員來說，環(huán)境搭好了，模型還要好幾個(gè)小時(shí)。

模型下載的四種方式：

1、Hugging http://face.cn上手動(dòng)下載模型及其文件，需掛vpn下載

• 因?yàn)橥饩W(wǎng)下載，所以速度依賴于你的外網(wǎng)網(wǎng)速

• https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/tree/main-inc/Baichuan2-13B-Chat-4bits/tree/main

2、阿里的modelscope上下載，無需vpn，如果你的網(wǎng)速還行，建議這種方式

• 首先需要安裝modelscope
  

pip install modelscope

# 從modelscope上下載模型from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')如果你網(wǎng)速很好，下載就很快，如果是kb/s，那么大文件下載會(huì)失敗。

3、huggingface的鏡像網(wǎng)站aliendao網(wǎng)站下載，無需vpn，非開發(fā)者需手動(dòng)下載

• 互鏈高科 （非開發(fā)者或者怕麻煩可以直接去網(wǎng)站手動(dòng)下載）

• 開發(fā)者在aliendao的下載器上下載 https://github.com/git-cloner/aliendao

# 開發(fā)者可以直接看這里，這里的操作是在你已經(jīng)有了一個(gè)python3.7以上的環(huán)境下，可以直接下述操作# 如果你沒有的話，移步 https://github.com/git-cloner/aliendao
git clone https://github.com/git-cloner/aliendaocd aliendaopip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn
# 帶上mirror參數(shù)，優(yōu)先從aliendao.cn鏡像下載python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat-4bits

• 讓公司的運(yùn)維測(cè)了，aliendao的帶寬很慢，即便你的網(wǎng)速很快，速度也非常一般，而且這個(gè)網(wǎng)站模型不全。

4、huggingface的鏡像網(wǎng)站

• https://hf-mirror.com/baichuan-incinc

• 網(wǎng)速很快，公司運(yùn)維有測(cè)到4M/s，非常推薦用這個(gè)網(wǎng)站直接下載

最后，也可以參考小五哥：如何快速穩(wěn)定地從huggingface下載模型去更快速地下載你的模型。

上述幾種方式可以都試試，找到最適合自己的，和朋友聊的時(shí)候，朋友說其實(shí)最快的方式是讓別人給你下好了，直接傳給你。這也不失為一種高效下載的方式，而且很受用。來自朋友的力量。