Torchの正則化手法にはどんなものがありますか?
- L1正則化(ラッソ正則化):損失関数に重みベクトルのL1ノルムを追加することで、モデルをよりスパースにすることができ、重要でない特徴の影響を減らすことができます。
- L2正則化(リッジ正則化):損失関数に重みベクトルのL2ノルムを加えることで、過学習を防ぎ、重みベクトルの値をより滑らかにします。
- Elastic Net正則化は、L1正則化とL2正則化を組み合わせることで、スパース性と滑らかさのバランスをより良くすることができます。
- Group Lassoの正則化:特徴をグループ化し、各特徴グループにL1正則化を適用することで、グループ内の特徴の疎な性質を保つことができます。
- 画像処理において使用されるTotal Variation正則化は、画像の滑らかさとエッジ情報を保持することができます。
- TV-L1正則化は、画像の復元やノイズ除去に使用される、Total Variation正則化とL1正則化の特長を組み合わせた手法です。