技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

序文

深層学習の活発な開発に伴い、モデルのパフォーマンスと汎化能力が研究者の焦点になっています。ただし、実際のアプリケーションでは、データにはさまざまなノイズが伴うことがよくあります。これらのノイズは、データ収集プロセスにおけるハードウェアの制限に起因するだけでなく、環境干渉や送信エラーなどの要因によってもたらされる場合があります。ノイズの存在は、特に音声認識や画像分類などのタスクにおいて、深層学習モデルのトレーニング効果と予測精度に深刻な影響を与えます。したがって、深層学習モデルのノイズ耐性を向上させること、つまり、ノイズの多い環境におけるモデルの安定したパフォーマンスと認識能力を強化することが、現在の研究の重要な方向性となっています。より効果的なデータ前処理アルゴリズムを設計し、モデル構造を最適化し、ノイズ強化トレーニングやその他の技術的手段を導入することにより、ディープラーニング モデルのノイズ耐性を大幅に向上させることができ、より複雑なシナリオへの適用を促進できます。

ノイズ耐性

• 存在する深層学習における正則化技術 - データセットの強化データセット拡張戦略として入力にノイズを適用することを示唆したものです。一部のモデルでは、分散が最小限のノイズをモデルの入力に追加することは、重みにノルム ペナルティを追加することと同等です (Bishop、1995a、b)。一般に、ノイズ挿入は、特に隠れユニットにノイズが追加される場合、単純にパラメータを縮小するよりもはるかに強力です。隠れユニットにノイズを追加することは、それ自体が議論される価値のある重要なトピックです。
• 別のノイズは重みに追加することで正規化モデルで使用されます。 。この技術は主にリカレント ニューラル ネットワークで使用されます (Jim et al., 1996; Graves, 2011)。これは、重みに関するベイズ推論の確率的実装として解釈できます。学習プロセスにベイジアン アプローチを使用すると、重みが不確実なものとして扱われ、この不確実性は確率分布で表すことができます。重みにノイズを追加することは、この不確実性を反映する実用的な確率論的な方法です。
• 特定の仮定の下では、重みに適用されるノイズは、より伝統的な形式の正則化と同等であると解釈でき、学習される関数の安定性が促進されます。
• 回帰のケース、つまり一連の特徴のトレーニングを研究します。$\mathbf{バツ}$スカラーにマップされた関数$\widehat{ええ}(\mathbf{バツ})$、最小二乗コスト関数を使用してモデルの予測値を測定します。$\widehat{ええ}$真の価値を持って$ええ$エラー：
  $J={\mathbb{え}}_{p(バツ,ええ)}[(\widehat{ええ}(\mathbf{バツ})-ええ{)}^2]\text{—式1}$
• トレーニングセットの内容は、$メートル$注釈の例$\{({\mathbf{バツ}}^{(私)},{ええ}^{(私)}),\dots ,({\mathbf{バツ}}^{(メートル)},{ええ}^{(メートル)})\}$
• ここで、各入力表現にネットワーク重みのランダムな摂動が追加されると仮定します。${ϵ}_{わ}\sim \mathcal{いいえ}(\mathbf{ϵ};0,\eta \mathbf{私})$標準があると想像してください$l$層$\text{マルチレベル}$ 。摂動モデルを次のように表します。${\widehat{ええ}}_{{ϵ}_{\mathbf{わ}}}(\mathbf{バツ})$。
• 私たちは、ノイズ注入にもかかわらず、ネットワーク出力誤差の二乗を削減することに興味があります。したがって、目的関数は次のようになります。$\{\begin{array}{l}\begin{array}{rl}{\hat{J}}_{\mathbf{わ}}& ={\mathbb{え}}_p(\mathbf{バツ},ええ,{ϵ}_{\mathbf{わ}})[({\widehat{ええ}}_{{ϵ}_{\mathbf{わ}}}(\mathbf{バツ})-ええ{)}^2]\text{—式2}\\ & ={\mathbb{え}}_p(\mathbf{バツ},ええ,{ϵ}_{\mathbf{わ}})[{\widehat{ええ}}_{{ϵ}_{\mathbf{わ}}}^2(\mathbf{バツ})-2ええ{\widehat{ええ}}_{{ϵ}_{\mathbf{わ}}}(\mathbf{バツ})+{ええ}^2]\text{—式3}\end{array}\end{array}$
• 小さいもの用$\eta$、重み付けされたノイズを最小限に抑えます (分散は$\eta \mathbf{私}$）の$J$追加の正則化項を最小限に抑えるのと同じ$J:\eta {\mathbb{え}}_{p(バツ,ええ)}\left[\Vert {\nabla }_{\mathbf{わ}}\widehat{ええ}(\mathbf{バツ}){\Vert }^2\right]$。
• この形式の正則化により、重みの小さな摂動が出力に比較的ほとんど影響を与えないパラメータ空間の領域にパラメータが入ることが促進されます。言い換えれば、モデルを重みの小さな変化に比較的鈍感な領域に押し込み、検出される点は単なる最小点ではなく、平らな領域に囲まれた最小点になります (Hochreiter および Schmidhuber、1995)。
• 単純化された線形回帰では (例:$\widehat{ええ}(\mathbf{バツ})={\mathbf{わ}}^{\top }\mathbf{バツ}+b$、正規用語は次のように縮退します。$\eta {\mathbb{え}}_{p(バツ)}[\Vert \mathbf{バツ}{\Vert }^2]$、これは関数のパラメータとは何の関係もないので、${\hat{J}}_{わ}$モデルパラメータの勾配に寄与します。

出力ターゲットにノイズを注入する

• ほとんどのデータセット$ええ$ラベルに一部誤りがあります。いつ$ええ$最大化するのは間違っています$\mathrm{見よグ}p(ええ\mid \mathbf{バツ})$有害でしょう。
• これを防ぐ 1 つの方法は、ラベル上のノイズを明示的にモデル化することです。
  • たとえば、いくつかの小さな定数に対して次のように仮定できます。$ϵ$、トレーニング セットのラベル$ええ$正しい確率は$1-ϵ$、他の可能なラベルが正しい可能性があります。
  • この仮定は、ノイズの多いサンプルを明示的に取得することなく、分析的にコスト関数と簡単に組み合わせることができます。
  • 例えば、ラベルのスムージング(ラベル スムージング) に基づく$け$出力$\text{ソフトマックス}$明確な分類を指す関数$0$そして$1$と置換する$\frac{ϵ}{け-1}$そして$1-ϵ$、モデルを正規化します。
• 標準のクロスエントロピー損失は、これらの不正確なターゲットの出力に使用できます。使用$\text{ソフトマックス}$関数と明示的な目的の最尤学習は決して収束しない可能性があります -$\text{ソフトマックス}$関数では正確に予測することはできません$0$確率とか$1$そのため、学習はますます大きな重みを学習し続け、予測がより極端になります。重み減衰などの他の正則化戦略を使用すると、これを防ぐことができます。ラベル スムージングには、正しい分類を妨げることなく、モデルが一義的な確率を追求するのを防ぐという利点があります。この戦略は 1980 年代から使用されており、現代のニューラル ネットワークで顕著に機能し続けています (Szegedy et al.、2015)。

要約する

• ディープラーニングのノイズ耐性を向上させることは、モデルが現実の環境で安定して動作することを保証するための鍵となります。データ強化、ノイズ注入トレーニング、モデル構造の最適化などの一連の革新的な技術的手段を通じて、ノイズに対するモデルの耐性と認識精度を効果的に向上させることができます。これらの取り組みは、ディープラーニング技術のさらなる発展を促進するだけでなく、音声認識、画像認識、自然言語処理などの分野での実用的なアプリケーションに、より信頼性が高く効率的なソリューションをもたらします。
• 将来的には、研究の深化と技術の継続的な進歩により、深層学習モデルのノイズ耐性がさらに向上し、より多くの分野に革命的な変化がもたらされると考えられます。

過去のコンテンツの返却

深層学習における正則化技術 - データセットの強化