PythonでのReLu関数
Rectified Linear Activation Function（ReLU）は、ディープラーニングの世界で最も一般的な活性化関数の選択肢です。ReLUは最先端の結果を提供するばかりでなく、計算上も非常に効率的です。
Relu活性化関数の基本的なコンセプトは次のようになります：
Return 0 if the input is negative otherwise return the input as it is.
数学的には、次のように表現することができます。
ReLUの擬似コードは以下の通りです。
if input > 0:
return input
else:
return 0
このチュートリアルでは、自分自身のReLu関数の実装方法、いくつかの欠点について学び、より良いバージョンのReLuについて学びます。
おすすめの読み物：機械学習のための線形代数学【パート1/2】
始めましょう！
PythonでReLu関数を実装する
PythonでReluの独自の実装を書きましょう。それを実装するために、組み込みのmax関数を使用します。
「ReLu」のコードは以下の通りです。
def relu(x):
return max(0.0, x)
機能を試すために、いくつかの入力で実行してみましょう。
x = 1.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -10.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 0.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 15.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -20.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
完全なコード
以下に完全なコードが示されています。
def relu(x):
return max(0.0, x)
x = 1.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -10.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 0.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 15.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -20.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
出力:
Applying Relu on (1.0) gives 1.0
Applying Relu on (-10.0) gives 0.0
Applying Relu on (0.0) gives 0.0
Applying Relu on (15.0) gives 15.0
Applying Relu on (-20.0) gives 0.0
ReLu関数の勾配
ReLU関数の勾配（導関数）がどうなるか見てみましょう。微分を行うと、以下の関数が得られます：
f'(x) = 1, x>=0
= 0, x<0
値が0未満のxにおいて、勾配が0であることがわかります。つまり、一部のニューロンの重みとバイアスは更新されていないことを意味します。これはトレーニングプロセスで問題となることがあります。
この問題を克服するために、リークReLU関数があります。次はそれについて学びましょう。
漏れるReLU関数
リーキーReLU関数は通常のReLU関数の派生です。負の値におけるゼロ勾配の問題に対処するため、リーキーReLUは負の入力に対してxの非常に小さな線形成分を与えます。
数学的には、リーキーReLUを次のように表現することができます。
f(x)= 0.01x, x<0
= x, x>=0
数学的に言えば：
- f(x)=1 (x<0)
- (αx)+1 (x>=0)(x)
ここでは、aは上記の0.01のような小さな定数です。
グラフィックで表すと、これは次のように示されます。
リーキーReLUの勾配
リーキーReLU関数の勾配を計算しましょう。勾配は以下のようになります。
f'(x) = 1, x>=0
= 0.01, x<0
この場合、負の入力に対する勾配はゼロではありません。つまり、すべてのニューロンが更新されることを意味します。
PythonでLeaky ReLuを実装する
Leaky ReLuの実装は以下の通りです。
def relu(x):
if x>0 :
return x
else :
return 0.01*x
現場の入力で試してみましょう。
x = 1.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -10.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 0.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 15.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -20.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
完全なコード
下記にLeaky ReLUの完全なコードが示されています。
def leaky_relu(x):
if x>0 :
return x
else :
return 0.01*x
x = 1.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -10.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 0.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 15.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -20.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
出力：
Applying Leaky Relu on (1.0) gives 1.0
Applying Leaky Relu on (-10.0) gives -0.1
Applying Leaky Relu on (0.0) gives 0.0
Applying Leaky Relu on (15.0) gives 15.0
Applying Leaky Relu on (-20.0) gives -0.2
結論
このチュートリアルでは、PythonでのReLu関数について説明しました。また、改善されたバージョンのReLu関数も見ました。Leaky ReLuは、ReLu関数の負の値における勾配ゼロの問題を解決するものです。