Huggingface 预训练模型权重下载的问题

预训练模型

字数统计: 421阅读时长: 1 min

 2021/07/01 

本文转自Hugging face预训练模型和Huggingface 预训练模型权重下载的问题

Hugging face是一个专注于NLP的公司，拥有一个开源的预训练模型库 Transformers ，里面囊括了非常多的模型例如 BERT GPT 等.

模型库

官网的模型库的地址如下：https://huggingface.co/models

使用模型

首先需要安装transformers库，使用以下命令安装：

1	pip install transformers

接下来在代码中调用 AutoTokenizer.from_pretrained 和 AutoModel.from_pretrained 即可, 例如：

from transformers import *
model_name = 'hfl/chinese-xlnet-base'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

运行后系统会自动下载相关的模型文件并存放在电脑中。使用Windows模型保存的路径在 C:\Users[用户名].cache\torch\transformers目录下，根据模型的不同下载的东西也不相同

使用Linux模型保存的路径在 ~/.cache/torch/transformers/ 目录下。

存在的问题

这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件，但是问题是有些机器是没有外网连接权限或者下载速度非常慢。

这时候就需要把模型文件下载后在导入代码中，还是以刚才的 hfl/chinese-xlnet-base 模型为例，直接在官网搜索模型，点击进入模型的详情界面

20210701024119

在界面中找到 Files

20210701024235

把弹窗内的文件全部下载下来

我们假设文件保存在 E:\models\hfl\chinese-xlnet-base\ 目录下

我们只需要把model_name 修改为下载的文件夹即可

from transformers import *
model_name = 'E:/models/hfl/chinese-xlnet-base/'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

这样问题就解决了。

原文作者：茄子

原文链接：https://eggplant.wiki/2021/07/01/huggingface-yu-xun-lian-mo-xing-quan-chong-xia-zai-de-wen-ti/

发表日期：July 1st 2021, 1:44:09 am

更新日期：March 8th 2025, 4:39:54 pm

Next Post

Pytorch学习
Previous Post

jupyter notebook 本地服务器搭建

CATALOG

1. 模型库
2. 使用模型
3. 存在的问题