使用训练工具
输入“/”快速插入内容
使用训练工具
使用训练工具
飞书用户44432023年12月8日修改
HuggingFace上提供了很多已经训练好的模型库，如果想针对特定数据集优化，那么就需要二次训练模型，并且HuggingFace也提供了训练工具。
一.准备数据集
1.加载编码工具
加载hfl/rbt3编码工具如下所示：
代码块
def load_encode():
# 1.加载编码工具
# 第6章/加载tokenizer
from transformers import AutoTokenizer
pretrained_model_name_or_path = r'L:\20230713_HuggingFaceModel\rbt3'
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path)
# 第6章/试编码句子
result = tokenizer.batch_encode_plus(
['明月装饰了你的窗子', '你装饰了别人的梦'],
truncation=True,
)
print(result)
输出结果如下所示：
代码块
{'input_ids': [[101, 3209, 3299, 6163, 7652, 749, 872, 4638, 4970, 2094, 102], [101, 872, 6163, 7652, 749, 1166, 782, 4638, 3457, 102]],
'token_type_ids': [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]],
'attention_mask': [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]}
2.准备数据集
ChnSentiCorp是谭松波收集整理了一个较大规模的酒店评论语料。7000多条酒店评论数据，5000多条正向评论，2000多条负向评论[3]。
代码块
def f1(data):
# 通过编码工具将文字编码为数据
from transformers import AutoTokenizer
from pathlib import Path
pretrained_model_name_or_path = r'L:\20230713_HuggingFaceModel\rbt3'
tokenizer = AutoTokenizer.from_pretrained(Path(f'{pretrained_model_name_or_path}'))
return tokenizer.batch_encode_plus(data['text'], truncation=True)
def f2(data):
# 过滤太长的句子
return [len(i) <= 512 for i in data['input_ids']]
def load_dataset_from_disk():
# 方法1：从HuggingFace加载数据集，然后本地保存
# from datasets import load_dataset
# dataset = load_dataset(path='seamew/ChnSentiCorp')
# print(dataset)
# dataset.save_to_disk(dataset_dict_path='./data/ChnSentiCorp')
# 方法2：从本地加载数据集
from datasets import load_from_disk
mode_name_or_path = r'L:\20230713_HuggingFaceModel\ChnSentiCorp'
dataset = load_from_disk(mode_name_or_path)
# 缩小数据规模，便于测试
dataset['train'] = dataset['train'].shuffle().select(range(2000))
dataset['test'] = dataset['test'].shuffle().select(range(100))
# batched=True表示批量处理
# batch_size=1000表示每次处理1000个样本
# num_proc=8表示使用8个线程操作
# remove_columns=['text']表示移除text列
dataset = dataset.map(f1, batched=True, batch_size=1000, num_proc=8, remove_columns=['text'])
return dataset