Pytorchとトランスフォーマー上で動作する中国語NLPトレーニングフレームワークの始め方

2年 ago
結衣, 春花
2 minutes

PyTorchとTransformersを用いて日本語NLP学習フレームワークを作成する前に、以下のライブラリのインストールが必須です。

  1. PyTorchは公式サイトまたはコマンドラインからインストールできます。
  2. Transformerはpipでインストールできます。以下にインストール手順を示します。
pip install transformers

次に、始めるための基本的な自然言語処理（NLP）トレーニングフレームワークのコード例を紹介します。

import torch
from transformers import BertTokenizer, BertForSequenceClassification, AdamW
# 加载预训练模型和tokenizer
model_name = 'bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)
# 定义训练数据
train_sentences = ['这是一个正样本', '这是一个负样本']
train_labels = [1, 0]
# 数据预处理
input_ids = []
attention_masks = []
for sent in train_sentences:
encoded_dict = tokenizer.encode_plus(
sent,
add_special_tokens=True,
max_length=64,
pad_to_max_length=True,
return_attention_mask=True,
return_tensors='pt',
)
input_ids.append(encoded_dict['input_ids'])
attention_masks.append(encoded_dict['attention_mask'])
input_ids = torch.cat(input_ids, dim=0)
attention_masks = torch.cat(attention_masks, dim=0)
labels = torch.tensor(train_labels)
# 定义训练参数
batch_size = 16
epochs = 10
optimizer = AdamW(model.parameters(), lr=1e-5)
# 创建数据加载器
data = torch.utils.data.TensorDataset(input_ids, attention_masks, labels)
sampler = torch.utils.data.RandomSampler(data)
dataloader = torch.utils.data.DataLoader(data, sampler=sampler, batch_size=batch_size)
# 训练模型
model.train()
for epoch in range(epochs):
total_loss = 0
for batch in dataloader:
optimizer.zero_grad()
batch_input_ids, batch_attention_masks, batch_labels = batch
outputs = model(batch_input_ids, attention_mask=batch_attention_masks, labels=batch_labels)
loss = outputs.loss
total_loss += loss.item()
loss.backward()
optimizer.step()
print(f'Epoch {epoch+1} Loss: {total_loss}')
# 保存模型
output_dir = './model/'
model.save_pretrained(output_dir)
tokenizer.save_pretrained(output_dir)

上記のコードのステップの概要は以下の通りです。

  1. 必要なライブラリをインポートします。
  2. 加载预训练模型和tokenizer。
  3. トレーニングデータを定義する。
  4. トークン化やパディングを行うなど、データを前処理します。
  5. バッチサイズやエポック数などの、学習パラメータを定義します。
  6. データローダーを作成します。
  7. 训练模型，通过计算loss进行反向传播和参数更新。
  8. トレーニング済みのモデルとトークナイザを保存する。

自分のデータとニーズに合わせてコードの変更と拡張ができます。このコードサンプルが、PyTorchとトランスフォーマーを使った日本語NLPトレーニングの入門に役立てば幸いです。

bannerAds