Transformers AutoModel
AutoModel 允许你根据给定的模型名称或路径自动加载相应的预训练模型。你可以使用 AutoModel 加载许多不同类型的预训练模型，例如 BERT、GPT-2、RoBERTa 等。它能够识别模型类型并自动选择正确的模型类来加载模型。
导入库和模块
from transformers import AutoModel, AutoTokenizer
加载模型和 tokenizer
使用 AutoModel 和 AutoTokenizer，你可以根据模型名称或路径来加载模型和 tokenizer。例如，要加载 BERT 模型，你可以使用以下代码：
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
model = AutoModel.from_pretrained('bert-base-uncased')
这将会下载并加载预训练的 BERT 模型以及相应的 tokenizer。
使用模型
加载模型后，你可以像使用其他 PyTorch 模型一样使用它。例如，你可以将输入数据传递给模型并获取输出：
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)
# `outputs` is a tuple. The first element is the output of the model.
print(outputs[0])
这段代码将会将文本 "Hello, world!" 传递给模型，并打印出模型的输出。
将模型转换为半精度
示例代码：
AutoModel.from_pretrained(
cfg.model_name_or_path,
config=config,
trust_remote_code=True).half()
half() 是 PyTorch 中的一个方法，用于将模型的权重和偏置从 float32（也称为 float）类型转换为 float16 类型。这种转换通常被称为 "半精度"（Half-Precision）浮点运算。
在训练深度学习模型时，float32 类型通常是默认的数据类型。然而，float16 类型的数据占用的内存更少，因此使用 float16 类型可以减少内存使用，可能使模型训练更快。此外，某些特殊的硬件（例如，支持 Tensor Cores 的最新 NVIDIA GPU）可以在 float16 类型上进行更快的数学运算。
然而，请注意，float16 类型的精度较低，这可能会影响模型的训练质量。在某些情况下，可能需要使用混合精度训练（使用 float16 和 float32 类型的混合）来兼顾速度和精度。
所以，model.half() 这一行的作用是将模型的所有权重和偏置转换为 float16 类型。
本文作者：Maeiee
版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！
喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！
