huggingface_hub加速

Jack原创小于 1 分钟

背景

huggingface是什么对于研究人工智能的耳熟能详，加入您的网络环境下载速度太慢或者网络受限，您可以采用下面方法进行下载加速。

依赖条件

已经安装好python开发环境,我这里是 python3.10+

主要步骤

这里假设我要下载 bigscience/bloom-560m 的模型

安装依赖

pip install -U huggingface_hub
pip install hf_transfer

导入环境变量

export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_ENABLE_HF_TRANSFER=0

下载模型

# 样例1
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

# 样例2
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

# 样例3
HF_ENDPOINT=https://hf-mirror.com python your_script.py