PyTorchの学習率スケジューラーにはどの種類がありますか？

– PyTorchの学習率スケジューラーにはいくつかの種類があります。

1. StepLR: 各ステップのサイズで、学習率はgamma倍に減少する。
2. MultiStepLR：ガンマの倍率で学習率が減少するステップのリストを定義します。
3. ExponentialLR：学習率が指数的に減衰します。
4. CosineAnnealingLR: コサイン退火学習率スケジューリング。
5. ReduceLROnPlateau：特定の指標が改善しなくなった場合、学習率を減少させます。
6. LambdaLR：指定された関数を使用して学習率スケジューリングを定義します。
7. サイクリックな学習率（CyclicLR）：学習率が一定の範囲内で周期的に調整される。
8. OneCycleLRは、モデルの収束をより速くするために、トレーニング中に変化する学習率を使用する学習率スケジューラーです。
9. CosineAnnealingWarmRestartsは、ウォームリスタート機能を備えたコサイン退火学習率スケジューラーです。
10. MultiplicativeLR：各ステップで学習率に特定の係数をかける。