PyTorch内で学習率をどのように調整すればよいですか？

1年 ago
夏樹, 風
1 minute

PyTorchでは、学習率を調整するために以下の方法を利用することができます。

  1. torch.optim.lr_schedulerモジュールを使用して、学習率を自動的に調整する学習率スケジューラーを使用することができます。StepLR、ReduceLROnPlateau、CosineAnnealingLRなどの異なる学習率スケジュール戦略を選択できます。各エポックやバッチの終了時に、学習率スケジューラーのstepメソッドを呼び出すことですぐに学習率を更新できます。
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    # Update learning rate
    scheduler.step()
  1. 訓練中に学習率を手動で調整できます。特定のエポックや条件ごとに必要に応じて学習率を変更することができます。
optimizer = optim.SGD(model.parameters(), lr=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    if epoch == 30:
        for param_group in optimizer.param_groups:
            param_group['lr'] = 0.01
  1. optimizer.param_groupsを使用して、torch.optimモジュール内の学習率を調整することができます。lrパラメータを変更することで、学習率を更新することができます。
optimizer = optim.SGD(model.parameters(), lr=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    if epoch % 10 == 0:
        for param_group in optimizer.param_groups:
            param_group['lr'] *= 0.1

神経網ワークをトレーニングする際には、実際の状況に応じて適切な学習率の調整方法を選択することができます。上記は一般的な学習率調整方法のいくつかです。

bannerAds