1日1分 かんたんTOEIC リスニング対策部

η(イータ)の前のマイナスはコストが少なくなる方へ重みを変更するため

この記事は約1分で読めます。

-η(マイナスイータ)の意味を把握

イータの前にマイナス

イータの前にマイナス

η(イータ、学習率)の前にマイナスがついているのはなぜ?

と思っていたけど、下記の記事を読んでようやく意味を把握。

勾配降下法 | 関数の傾きに着目して最小値を求める方法
  • コスト関数(損失関数)Lをw(重み)で微分した時にマイナスになる(dL/dwがマイナス)
    =重みを増やすとコストが低くなる
    =dL/dw(マイナス)に、-η(マイナス)をかけてプラスに変換(重みを増やす)
  • コスト関数(損失関数)Lをw(重み)で微分した時にプラスになる(dL/dwがプラス)
    =重みを増やすとコストが高くなる
    =dL/dw(プラス)に、-η(マイナス)をかけてマイナスに変換(重みを減らす)

コメント

タイトルとURLをコピーしました