技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl PDF版ノート構成 P5、P10～P12
• Joyrl比較補足 P11-P13
• OpenAI ドキュメントの整理 ⭐ https://spinningup.openai.com/en/latest/index.html

最新版PDFダウンロード
アドレス: https://github.com/datawhalecina/easy-rl/releases
国内の住所 (国内の読者に推奨)：
リンク: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw 抽出コード: us6a

easy-rlオンライン版リンク（コードのコピー用）
参考リンク2：https://datawhalecina.github.io/joyrl-book/

他の：
[正誤記録リンク]
——————
5. 深層強化学習の基礎 ⭐️
オープンソース コンテンツ: https://linklearner.com/learn/summary/11
——————————

画像ソース

近接ポリシーの最適化 (PPO)

同一の戦略: 学習されるエージェントと環境と対話するエージェントは同じです。
異種戦略: 学習するエージェントと環境と対話するエージェントは異なります。

ポリシーの勾配: データのサンプリングに多くの時間が必要

同じ戦略 $\stackrel{重要度のサンプリング}{⟹}$ さまざまな戦略

PPO: あまりに異なる 2 つの分布は避けてください。 同じ戦略アルゴリズム
1.独自の最適化項目$J(\theta ,{\theta }^{\prime })$
2. 制約項目:$\theta$ そして${\theta }^{\prime }$ 出力アクションの KL 発散 ($\theta$ そして${\theta }^{\prime }$ 似ているほど良い）

PPO の前身は、信頼領域ポリシー最適化 (TRPO) です。
TRPOはKL発散制約を追加制約として扱い、目的関数に入れていないため扱いが難しく、計算が困難です。したがって、通常は TRPO ではなく PPO を使用します。 PPO と TRPO のパフォーマンスは似ていますが、PPO は TRPO よりも実装がはるかに簡単です。

KLダイバージェンス：作用距離。アクションを実行する確率分布 距離。

PPO アルゴリズムには、近接ポリシー最適化ペナルティ (PPO ペナルティ) と近接ポリシー最適化クリッピング (PPO クリップ) という 2 つの主なバリエーションがあります。

——————————
P10 報酬が少ない問題
1. 報酬をデザインする。 ドメインの知識が必要
関連する各アクションに最終的な報酬を割り当てるのはどうでしょうか?

2. 好奇心
本質的好奇心モジュール (ICM)
入力：${1つの}_t,s_t$
出力：${\hat{s}}_{t+1}$
ネットワークの予測値${\hat{s}}_{t+1}$ 真の価値を持って$s_{t+1}$ 似ていないほど、$r_t^{私}$ 大きな方

$r_t^{私}$ : 将来の状態を予測するのが困難であればあるほど、そのアクションに対する報酬は大きくなります。冒険と探検を奨励します。

• 指標が単一すぎて、無駄なことしか学べない可能性があります。

特徴抽出器

ネットワーク 2:
入力: ベクトル$\mathbf{\varphi }(s_t)$ そして$\mathbf{\varphi }(s_{t+1})$

アクションを予測する $\widehat{1つの}$ 実際のアクションに近いほど良いです。

3. コース学習

簡単→難しい

逆カリキュラム学習:
最後の最も理想的な状態 [これをゴールド状態と呼びます] から始めて、次の状態に進みます。黄金状態に最も近い状態を見つけるエージェントに到達してもらいたい、段階的な「理想的な」状態として。もちろん、このプロセスでは、いくつかの極端な状態、つまり簡単すぎる状態や難しすぎる状態を意図的に削除します。

4. 階層型強化学習 (HRL)
エージェントの戦略は、高レベルの戦略と低レベルの戦略に分かれており、高レベルの戦略は、現在の状態に基づいて低レベルの戦略を実行する方法を決定します。

————————
P11 模倣学習
ご褒美シーンがよくわからない

模倣学習 (IL)
デモンストレーションから学ぶ
見習い学習
見て学ぶ

明確な報酬があります: ボードゲーム、ビデオゲーム
明確な報酬を与えることができない: チャットボット

専門家のデモンストレーションを収集: 人間の運転記録、人間の会話

逆に、専門家はどのような報酬関数でこれらの行動をとるのでしょうか？
逆強化学習というのは、まず報酬関数を求めます、報酬関数を見つけた後、強化学習を使用して最適なアクターを見つけます。

三人称模倣学習技術

————————
P12 深い決定論的政策勾配 (DDPG)

エクスペリエンスリプレイ戦略を使用する

アブレーション実験［変数制御法］解析あらゆる制約戦闘の結果に影響を与えます。

---

ジョワール：

DDPG_継続

必要としている確実戦略と継続的なアクション宇宙を前提とすると、このタイプのアルゴリズムは比較的安定したベースライン アルゴリズムになります。

継続的なアクション スペースの DQN

深い決定論的ポリシー勾配アルゴリズム (DDPG)

エクスペリエンス再生メカニズムにより、サンプル間の相関関係が低減され、サンプルの効果的な利用が向上し、トレーニングの安定性が向上します。

欠点:
1. 離散的な動作空間では使用できません
2、ハイパーパラメータに大きく依存する
3. 非常に敏感な初期条件。 アルゴリズムの収束とパフォーマンスに影響を与える
4. 局所最適に陥りやすい。

• 決定論的戦略の採用により、アルゴリズムが局所的な最適化に陥り、全体的な最適な戦略を見つけることが困難になる可能性があります。探索可能性を高めるには、ノイズ戦略を追加したり、他の探索方法を使用したりするなど、いくつかの対策を講じる必要があります。

ソフト アップデートの利点は、よりスムーズで遅いため、急激すぎるウェイト アップデートによって引き起こされるショックを回避し、トレーニングの発散のリスクを軽減できることです。

二重遅延決定論的ポリシー勾配アルゴリズム (ツイン遅延 DDPG、TD3)

二重遅延決定論的ポリシー勾配アルゴリズム

3 つの改善点: Double Q ネットワーク、遅延アップデート、ノイズ正則化
ダブルキューネットワーク : 2 つの Q ネットワーク。Q 値が小さい方を選択します。 Q値の過大評価問題に対処し、アルゴリズムの安定性と収束性を向上させます。

更新の遅延: アクターの更新頻度を批評家の更新頻度よりも低くします。

• 考え直してください

ノイズはもっと似ています正則化そのような方法で値関数の更新もっとスムーズ

OpenAIジムライブラリ_振り子_TD3

TD3 に関する OpenAI ドキュメント インターフェイスのリンク

TD3 論文 PDF リンク

PPO_連続/離散アクション スペース [OpenAI 201708]

強化学習で最もよく使用される PPO アルゴリズム
離散 + 連続
高速かつ安定しており、パラメータの調整が簡単
ベースラインアルゴリズム

PPO未定

実際には、クリップ制約がより単純で計算コストが低く、より良い結果が得られるため、一般に使用されます。

オフポリシーアルゴリズムでは、歴史的な経験を活かすために、通常はエクスペリエンスのリプレイを使用して、以前のエクスペリエンスを保存して再利用します。データ活用効率が高い。

PPO はポリシーに基づくアルゴリズムです

• 重要度サンプリング部分は古いアクター サンプリングからのサンプルを使用しますが、これらのサンプルは、戦略を更新するために直接使用されるわけではありません。代わりに、重要度サンプリングは、2 つのサンプル分布の差が可能な限り小さくなったとしても、異なるデータ分布によって引き起こされる誤差を最初に修正するために使用されます。つまり、重要度サンプリング後のサンプルは旧戦略によるサンプリングでは得られるものの、更新されたポリシーからおおよそ取得つまり、最適化したいアクターとサンプリングするアクターは同じです。

——————————————————

—— OpenAI ドキュメント_PPO

OpenAI ドキュメント
論文 arXiv インターフェイス リンク: 近接ポリシー最適化アルゴリズム

PPO: オンポリシー アルゴリズム。離散または連続アクション スペースに適しています。可能な局所最適値

PPO の動機は TRPO と同じです: 既存のデータを活用する方法戦略において可能な限り最大の改善ステップを踏み出すあまり変更せずに、誤ってパフォーマンスクラッシュを引き起こしていませんか？
TRPO は洗練された 2 次アプローチでこの問題を解決しようとしますが、PPO は他のトリックを使用して新しい戦略を古い戦略に近づける 1 次アプローチです。
PPO メソッドは実装がはるかに簡単で、経験的には少なくとも TRPO と同等のパフォーマンスを発揮します。

PPO には、PPO-ペナルティと PPO-クリップという 2 つの主なバリエーションがあります。

• PPO ペナルティは、TRPO と同様に KL 制約の更新を近似的に解決しますが、目的関数の KL 発散をハード制約にする代わりにペナルティを課し、適切にスケーリングされるようにトレーニング中にペナルティ係数を自動的に調整します。
• PPO-Clip には KL 発散がなく、目的関数に制約もありません。代わりに、新しい戦略が古い戦略から離れようとするインセンティブを取り除く目的関数の特定の調整に依存します。
  PPO-Clip (OpenAl で使用される主要なバリアント)。

PPO-Clip アルゴリズムの疑似コード

アルゴリズム: PPO クリップ
1: 入力: 初期戦略パラメータ${\theta }_0$、初期値関数パラメータ ${\varphi }_0$
2：$\mathbf{のために}け=0,1,2,\dots \mathbf{する}$：
3：        ~~~~~~       環境内でポリシーを実行することによって ${\pi }_{け}=\pi ({\theta }_{け})$ 軌道セットを収集する D k = { τ i } {cal D}_k={tau_i}だけ​={τ私​}
4：        ~~~~~~       報酬を計算する (今後の報酬) ${\hat{R}}_t$ ▢ ${\hat{R}}_t$ 計算ルール
5：        ~~~~~~       現在値関数に基づいて利点の推定値を計算する ${五}_{{\varphi }_{け}}$ の${\widehat{あ}}_t$ (任意の優勢推定方法を使用します)       ~~~~~       ▢ 現在の利点の推定方法は何ですか?
6：        ~~~~~~       PPO-Clip 目的関数を最大化してポリシーを更新します。
            ~~~~~~~~~~~            
${\theta }_{け+1}=\mathrm{arグ}\underset{\theta }{\mathrm{最大}}\frac{1}{|{\mathcal{だ}}_{け}|T}\sum _{\tau \in {\mathcal{だ}}_{け}}\sum _{t=0}^T分(\frac{{\pi }_{\theta }({1つの}_t|s_t)}{{\pi }_{{\theta }_{け}}({1つの}_t|s_t)}{あ}^{{\pi }_{{\theta }_{け}}}(s_t,{1つの}_t),グ(ϵ,{あ}^{{\pi }_{{\theta }_{け}}}(s_t,{1つの}_t)))$       ~~~~~       ▢ 戦略更新式はどのように決定するか?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_{け}}$ : 更新前の戦略パラメータ ベクトル。 サンプリングを大切にします。古い戦略からのサンプリング。
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            一般的な確率的勾配上昇 + アダム
7：        ~~~~~~       平均二乗誤差回帰適合値関数:
            ~~~~~~~~~~~            
${\varphi }_{け+1}=\mathrm{arグ}\underset{\varphi }{分}\frac{1}{|{\mathcal{だ}}_{け}|T}\sum _{\tau \in {\mathcal{だ}}_{け}}\sum _{t=0}^T({五}_{\varphi }(s_t)-{\hat{R}}_t{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            一般的な勾配降下法
8：$\mathbf{終わり}\mathbf{のために}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$グ(ϵ,あ)=\{\begin{array}{rlr}& (1+ϵ)あ& あ\ge 0\\ & (1-ϵ)あ& あ<0\end{array}$

紙の中で利点の推定:

${\widehat{あ}}_t=-五(s_t)+\underset{{\hat{R}}_t???}{\underbrace{r_t+\gamma r_{t+1}+\cdots +{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}五(s_T)}}$

作る ${\Delta }_t=r_t+\gamma V(s_{t+1})-五(s_t)$
しかし$r_t={\Delta }_t-\gamma V(s_{t+1})+五(s_t)$

代わりの ${\widehat{あ}}_t$ 表現

$\begin{array}{rl}{\widehat{あ}}_t& =-五(s_t)+r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+\cdots +{\gamma }^{T-t}{r}_{T-2}+{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}五(s_T)\\ & =-五(s_t)+r_t+\gamma r_{t+1}+\cdots +{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}五(s_T)\\ & =-五(s_t)+\\ & {\Delta }_t-\gamma V(s_{t+1})+五(s_t)+\\ & \gamma ({\Delta }_{t+1}-\gamma V(s_{t+2})+五(s_{t+1}))+\\ & {\gamma }^2({\Delta }_{t+2}-\gamma V(s_{t+3})+五(s_{t+1}))+\\ & \cdots +\\ & {\gamma }^{T-t}({\Delta }_{T-t}-\gamma V(s_{T-t+1})+五(s_{T-t}))+\\ & {\gamma }^{T-t+1}({\Delta }_{T-1}-\gamma V(s_T)+五(s_{T-1}))+\\ & {\gamma }^{T-t}五(s_T)\\ & ={\Delta }_t+\gamma {\Delta }_{t+1}+{\gamma }^2{\Delta }_{t+2}+\cdots +{\gamma }^{T-t}{\Delta }_{T-t}+{\gamma }^{T-t+1}{\Delta }_{T-1}\end{array}$

クリッピングは、政策の大幅な変更に対するインセンティブを除去することで、規則化の役割を果たします。ハイパーパラメータ $ϵ$ 新しい戦略と古い戦略の間の距離に対応します。

この種のクリッピングにより、最終的には古い戦略とはかけ離れた新しい戦略が生成される可能性は依然としてありますが、ここでの実装では特に単純な方法を使用します。早めにやめてください 。新しいポリシーと古いポリシーの平均 KL 乖離がしきい値を超える場合、勾配ステップの実行を停止します。

PPO 目的関数の単純な導出リンク
PPO-Clip の目的関数は次のとおりです。
  ~  
${ら}_{{\theta }_{け}}^{\mathrm{クリップ}}(\theta )=\underset{s,1つの\sim {\theta }_{け}}{え}\left[分\right(\frac{{\pi }_{\theta }(1つの|s)}{{\pi }_{{\theta }_{け}}(1つの|s)}{あ}^{{\theta }_{け}}(s,1つの),\mathrm{クリップ}(\frac{{\pi }_{\theta }(1つの|s)}{{\pi }_{{\theta }_{け}}(1つの|s)},1-ϵ,1+ϵ){あ}^{{\theta }_{け}}(s,1つの)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{s,1つの\sim {\theta }_{け}}{え}$
  ~  
いいえ。$け$ 反復の戦略パラメータ${\theta }_{け}$， $ϵ$ 小さなハイパーパラメータです。
設定$ϵ\in (0,1)$、 意味
$ふ(r,あ,ϵ)\doteq 分(rあ,\mathrm{クリップ}(r,1-ϵ,1+ϵ)あ)$
いつ $あ\ge 0$
$\begin{array}{rl}ふ(r,あ,ϵ)& =分(rあ,\mathrm{クリップ}(r,1-ϵ,1+ϵ)あ)\\ & =あ分(r,\mathrm{クリップ}(r,1-ϵ,1+ϵ))\\ & =あ分(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =あ\left\{\begin{array}{rlr}& 分(r,1+ϵ)& r\ge 1+ϵ\\ & 分(r,r)& r\in (1-ϵ,1+ϵ)\\ & 分(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =あ\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & r& r\le 1-ϵ\end{array}\right\}右の範囲に応じて\\ & =あ分(r,1+ϵ)\\ & =分(rあ,(1+ϵ)あ)\end{array}$
  ~  
いつ $あ<0$
$\begin{array}{rl}ふ(r,あ,ϵ)& =分(rあ,\mathrm{クリップ}(r,1-ϵ,1+ϵ)あ)\\ & =あメートル1つのバツ(r,\mathrm{クリップ}(r,1-ϵ,1+ϵ))\\ & =あ\mathrm{最大}(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =あ\left\{\begin{array}{rlr}& \mathrm{最大}(r,1+ϵ)& r\ge 1+ϵ\\ & \mathrm{最大}(r,r)& r\in (1-ϵ,1+ϵ)\\ & \mathrm{最大}(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =あ\left\{\begin{array}{rlr}& r& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\}右の範囲に応じて\\ & =あ\mathrm{最大}(r,1-ϵ)\\ & =\mathrm{メートル私ん}(rあ,(1-ϵ)あ)\end{array}$
  ~  
要約すると: 定義可能$グ(ϵ,あ)$
$グ(ϵ,あ)=\{\begin{array}{rlr}& (1+ϵ)あ& あ\ge 0\\ & (1-ϵ)あ& あ<0\end{array}$

この定義により、新しい戦略が古い戦略から大きく逸脱することが防止されるのはなぜですか?
効果的な重要度のサンプリングには新しい戦略が必要 ${\pi }_{\theta }(1つの|s)$ そして古い戦略${\pi }_{{\theta }_{け}}(1つの|s)$ 2 つの分布の差が大きすぎることはできません

1. アドバンテージがプラスの場合

$ら(s,1つの,{\theta }_{け},\theta )=分(\frac{{\pi }_{\theta }(1つの|s)}{{\pi }_{{\theta }_{け}}(1つの|s)},1+ϵ){あ}^{{\pi }_{{\theta }_{け}}}(s,1つの)$
利点関数: より多くの報酬を持つ特定の状態-アクションのペアを見つけます -&gt; 状態-アクションのペアの重みを増加します。

状態とアクションのペアが $(s,1つの)$ が肯定的な場合、アクションが$1つの$ 実行される可能性が高くなります。つまり、${\pi }_{\theta }(1つの|s)$ 増やせば目標も上がります。
この項目の min は、目的関数を特定の値までのみ増加するように制限します。
一度${\pi }_{\theta }(1つの|s)>(1+ϵ){\pi }_{{\theta }_{け}}(1つの|s)$、最小トリガー数、この項目の値を次のように制限します $(1+ϵ){\pi }_{{\theta }_{け}}(1つの|s)$。
新しいポリシーは、古いポリシーから大きく離れることで利益を得ることはありません。
新しい戦略は、古い戦略から離れても利益を得られません。

2. アドバンテージがマイナスの場合

$ら(s,1つの,{\theta }_{け},\theta )=\mathrm{最大}(\frac{{\pi }_{\theta }(1つの|s)}{{\pi }_{{\theta }_{け}}(1つの|s)},1-ϵ){あ}^{{\pi }_{{\theta }_{け}}}(s,1つの)$

状態とアクションのペアが $(s,1つの)$ 利点がマイナスの場合、アクションが$1つの$ 可能性はさらに低い、つまり、${\pi }_{\theta }(1つの|s)$ 減少すると、目的関数は増加します。ただし、この項の最大値により、目的関数をどれだけ増加できるかが制限されます。
一度${\pi }_{\theta }(1つの|s)<(1-ϵ){\pi }_{{\theta }_{け}}(1つの|s)$、最大トリガー数、この項目の値を次のように制限します $(1-ϵ){\pi }_{{\theta }_{け}}(1つの|s)$。

繰り返しますが、新しいポリシーは、古いポリシーから大きく離れることによって利益を得るわけではありません。
新しい戦略は、古い戦略から離れても利益を得られません。

TD3_連続のみ: Twin Delayed Deep Deterministic Policy Gradient [ICML 2018 (カナダ) マギル大学]

画像ソース

OpenAI ドキュメント_TD3
ペーパーリンク

DDPG は優れたパフォーマンスを実現できる場合もありますが、ハイパーパラメーターやその他の種類のチューニングとなると不安定になることがよくあります。
一般的な DDPG 障害モードは、学習された Q 関数が Q 値を大幅に過大評価し始め、Q 関数のエラーを悪用するためにポリシーが壊れるというものです。
Twin Delayed DDPG (TD3) は、次の 3 つの主要な技術を導入することでこの問題を解決するアルゴリズムです。
1、切り捨てられた二重 Q 学習。

• TD3 は、1 つではなく 2 つの Q 関数 (したがって「ツイン」) を学習し、2 つの Q 値の小さい方を使用してベルマン誤差損失関数のターゲットを形成します。

2、ポリシー更新の遅延。

• TD3 は、Q 機能よりも低い頻度でポリシー (およびターゲット ネットワーク) を更新します。この論文では、Q 機能が 2 回更新されるたびにポリシーを更新することを推奨しています。

3. ターゲット戦略の平滑化。

• TD3 はターゲット アクションにノイズを追加し、アクションの変更全体で Q を平滑化することで、ポリシーが Q 関数のエラーを悪用することをより困難にします。

TD3 はオフポリシーのアルゴリズムです。継続的なアクションスペースの環境。

TD3アルゴリズムの擬似コード

アルゴリズム: TD3
ランダムなパラメータを使用する${\theta }_1,{\theta }_2,\varphi$ 批評家ネットワークを初期化する${質問}_{{\theta }_1},{質問}_{{\theta }_2}$、および俳優ネットワーク ${\pi }_{\varphi }$
ターゲットネットワークの初期化${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
再生バッファセットを初期化する$\mathcal{B}$
$\mathbf{のために}t=1\mathbf{に}T$ ：
       ~~~~~~       探索ノイズのあるアクションを選択 $1つの\sim {\pi }_{\varphi }(s)+ϵ,ϵ\sim \mathcal{いいえ}(0,\sigma )$、観察報酬 $r$ そして新たなステータス$s^{\prime }$
       ~~~~~~       遷移タプル $(s,1つの,r,s^{\prime })$ に預ける$\mathcal{B}$ 真ん中
       ~~~~~~       から $\mathcal{B}$ 小さなバッチのサンプリング$いいえ$ トランジション$(s,1つの,r,s^{\prime })$
$\widetilde{1つの}\leftarrow {\pi }_{{\varphi }^{\prime }}(s^{\prime })+ϵ,ϵ\sim \mathrm{クリップ}(\mathcal{いいえ}(0,\tilde{\sigma }),-ｃ,ｃ)$
$ええ\leftarrow r+\gamma \underset{私=1,2}{分}{質問}_{{\theta }_{私}^{\prime }}(s^{\prime },\widetilde{1つの})$
       ~~~~~~       更新批評家 ${\theta }_{私}\leftarrow \mathrm{arグ}\underset{{\theta }_{私}}{分}{いいえ}^{-1}\sum (ええ-{質問}_{{\theta }_{私}}(s,1つの){)}^2$
       ~~~~~~        $\mathbf{もし}t\%d$：
            ~~~~~~~~~~~            決定論的なポリシー勾配による更新 $\varphi$
${\nabla }_{\varphi }J(\varphi )={いいえ}^{-1}\sum {\nabla }_{1つの}{質問}_{{\theta }_1}(s,1つの){|}_{1つの={\pi }_{\varphi }(s)}{\nabla }_{\varphi }{\pi }_{\varphi }(s)$
            ~~~~~~~~~~~            ターゲット ネットワークを更新します。
${\theta }_{私}^{\prime }\leftarrow \tau {\theta }_{私}+(1-\tau ){\theta }_{私}^{\prime }$$\tau$: 目標更新速度
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{終わり}\mathbf{もし}$
$\mathbf{終わり}\mathbf{のために}$

Soft Actor-Critic: SAC_Continuous/Discrete Action Space [Google Brain 最新バージョン 201906]

画像ソース

ポリシーのエントロピーを最大化して、ポリシーをより堅牢にします。

決定的な戦略 同じ状態であれば、常に同じアクションを選択することを意味します
ランダム性戦略 これは、特定の状態で選択できるアクションが多数あることを意味します。

実際の適用では、条件が許せば、使ってみてくださいランダム性戦略、A2C、PPO など、より柔軟で、より堅牢で、より安定しているためです。

最大エントロピー強化学習では、現在成熟したランダム性戦略、つまり AC などのアルゴリズムがあるにもかかわらず、最適なランダム性はまだ達成されていないと考えています。したがって、それは、情報エントロピーコンセプト、で政策のエントロピーを最大化しながら累積報酬を最大化する、戦略をより堅牢にし、最適なランダム性戦略を実現します。

——————————————————

—— OpenAI ドキュメント_SAC

OpenAI ドキュメント_SAC インターフェイス リンク
  ~  
ソフトアクタークリティック: 確率的アクターによるオフポリシー最大エントロピー深層強化学習、Haarnoja et al、201808 ICML 2018
ソフトアクタークリティックアルゴリズムとアプリケーション、ハーノジャら、201901
深層強化学習による歩行学習、Haarnoja et al、201906 RSS2019

Soft Actor Critic (SAC) は、ポリシーに従わない方法でランダムな戦略を最適化します。

DDPG + 確率的戦略の最適化

TD3 (同時期にリリース) の直接の後継ではありません。

これにはクリップされたダブル Q トリックが組み込まれており、SAC の戦略に固有のランダム性があるため、最終的には次のような利点もあります。ターゲットポリシーのスムージング。

SAC の中心的な機能は次のとおりです。 エントロピー正則化 エントロピー正則化。
このポリシーは、期待される報酬とエントロピーの間のトレードオフを最大化するようにトレーニングされています。エントロピーはポリシーのランダム性の尺度です。
これは、探索と活用の間のトレードオフに密接に関係しています。つまり、エントロピーの増加は、さらに探索する、これで結構ですその後の学習を加速する 。大丈夫ですポリシーが時期尚早に不適切な局所最適値に収束するのを防ぐ。

連続動作空間と離散動作空間の両方で使用できます。

存在する エントロピー正則化強化学習、エージェントは取得し、このタイムステップでのポリシーのエントロピー比例報酬。
現時点で、RL 問題は次のように説明されます。

${\pi }^{\ast }=\mathrm{arグ}\underset{\pi }{\mathrm{最大}}\underset{\tau \sim \pi }{え}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,{1つの}_t,s_{t+1})+\alpha H(\pi (\cdot |s_t)))]$

で $\alpha >0$ はトレードオフ係数です。
各タイムステップでのエントロピー報酬を含む状態値関数${五}^{\pi }$ のために：

${五}^{\pi }(s)=\underset{\tau \sim \pi }{え}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,{1つの}_t,s_{t+1})+\alpha H(\pi (\cdot |s_t)))|s_0=s]$

最初のタイム ステップを除くすべてのタイム ステップのエントロピー報酬を含むアクション値関数 ${質問}^{\pi }$:

${質問}^{\pi }(s,1つの)=\underset{\tau \sim \pi }{え}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,{1つの}_t,s_{t+1})+\alpha \sum _{t=1}^{\infty }H(\pi (\cdot |s_t)))|s_0=s,{1つの}_0=1つの]$

• いくつかの論文 ${質問}^{\pi }$ 最初のタイムステップのエントロピー報酬が含まれます

${五}^{\pi }$ そして${質問}^{\pi }$ 間の関係は次のとおりです。

${五}^{\pi }(s)=\underset{1つの\sim \pi }{え}[{質問}^{\pi }(s,1つの)]+\alpha H(\pi (\cdot |s))$

について ${質問}^{\pi }$ ベルマン式は次のとおりです。

$\begin{array}{rl}{質問}^{\pi }(s,1つの)& =\underset{\genfrac{}{}{0ex}{}{s^{\prime }\sim ポ}{{1つの}^{\prime }\sim \pi }}{え}[R(s,1つの,s^{\prime })+\gamma ({質問}^{\pi }(s^{\prime },{1つの}^{\prime })+\alpha H(\pi (\cdot |s^{\prime })))]\\ & =\underset{s^{\prime }\sim ポ}{え}[R(s,1つの,s^{\prime })+\gamma {五}^{\pi }(s^{\prime })]\end{array}$

SAC はポリシーを同時に学習します ${\pi }_{\theta }$ そして2つ$質問$ 関数${質問}_{{\varphi }_1},{質問}_{{\varphi }_2}$。
現在、標準 SAC には 2 つのバリアントがあります。1 つは固定の SAC を使用します。エントロピー正則化係数 $\alpha$、トレーニング中に変更することでもう1つ $\alpha$ エントロピー制約を強制します。
OpenAI のドキュメントでは、エントロピー正則化係数が固定されたバージョンが使用されていますが、実際にはそれが好まれることがよくあります。エントロピー制約変異体。

以下に示すように、 $\alpha$ 修正版では、明らかな利点がある最後の画像を除いて、他の画像にはわずかな利点しかなく、基本的には同じです。$\alpha$ 学習バージョンは同じままです。$\alpha$ 中央の 2 つの図では、学習バージョンに利点があることがより明らかです。

画像ソース

SAC VSTD3:
  ~  
同じ点:
1. 両方の Q 関数は、単一の共有目標への回帰によって MSBE (平均二乗ベルマン誤差) を最小化することによって学習されます。
2. ターゲット Q ネットワークを使用して共有ターゲットを計算し、トレーニング プロセス中に Q ネットワーク パラメータに対してポリアック平均を実行して、ターゲット Q ネットワークを取得します。
3. 共有ターゲットは、切り詰められたダブル Q 手法を使用します。
  ~  
違い：
1. SAC にはエントロピー正則化項が含まれています
2. SAC 目標で使用される次の状態アクションは次のものから来ます。現在の戦略、ターゲット戦略ではなく。
3. スムージングには明確な目標戦略がありません。 TD3 は、次の状態に向けたアクションを通じて決定論的なポリシーをトレーニングしますランダムノイズを追加する滑らかさを実現するために。 SAC はランダム ポリシーをトレーニングします。ランダム性によるノイズは同様の効果を達成するのに十分です。

SACアルゴリズムの擬似コード

アルゴリズム: ソフト アクター - 批評家 SAC
入力：${\theta }_1,{\theta }_2,\varphi$ 初期化パラメータ
パラメータの初期化:
       ~~~~~~       ターゲット ネットワークの重みを初期化します。${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       再生プールは空になるように初期化されます。$\mathcal{だ}\leftarrow \varnothing$
$\mathbf{のために}$ 各反復$\mathbf{する}$ ：
       ~~~~~~       $\mathbf{のために}$ 環境の各ステップ$\mathbf{する}$ ：
            ~~~~~~~~~~~            ポリシーからのアクションの例: ${1つの}_t\sim {\pi }_{\varphi }({1つの}_t|s_t)$ ▢こちら ${\pi }_{\varphi }({1つの}_t|s_t)$ 定義方法は?
            ~~~~~~~~~~~            環境からの遷移の例:$s_{t+1}\sim p(s_{t+1}|s_t,{1つの}_t)$
            ~~~~~~~~~~~            トランジションを再生プールに保存します。 $\mathcal{だ}\leftarrow \mathcal{だ}\cup \{(s_t,{1つの}_t,r(s_t,{1つの}_t),s_{t+1})\}$
       ~~~~~~       $\mathbf{終わり}\mathbf{のために}$
       ~~~~~~       $\mathbf{のために}$ 各グラデーションステップ$\mathbf{する}$ ：
            ~~~~~~~~~~~            更新する $質問$ 関数パラメータ: の i ∈ { 1 , 2 } iin{1,2}私∈{1,2}，${\theta }_{私}\leftarrow {\theta }_{私}-{\lambda }_{質問}{\hat{\nabla }}_{{\theta }_{私}}{J}_{質問}({\theta }_{私})$ ▢こちら $J_{質問}({\theta }_{私})$ 定義方法は?
            ~~~~~~~~~~~            戦略の重みを更新します。 $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢こちら $J_{\pi }(\varphi )$ 定義方法は?
            ~~~~~~~~~~~            温度を調整します: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢こちら $J(\alpha )$ 定義方法は?ここの温度をどのように理解すればよいでしょうか？
            ~~~~~~~~~~~             ターゲット ネットワークの重みを更新します: i ∈ { 1 , 2 } iin{1,2}私∈{1,2}，${\bar{\theta }}_{私}\leftarrow \tau {\theta }_{私}-(1-\tau ){\bar{\theta }}_{私}$ ▢ これをどう理解するか $\tau$ ? ——&gt;目標平滑化係数
       ~~~~~~       $\mathbf{終わり}\mathbf{のために}$
$\mathbf{終わり}\mathbf{のために}$
出力：${\theta }_1,{\theta }_1,\varphi$最適化されたパラメータ

$\hat{\nabla }$: 確率的勾配

$emptyset$$\varnothing$

深層強化学習による歩行学習 バージョン:
  ~  

$\alpha$ は温度パラメータであり、エントロピー項と報酬の相対的な重要性を決定し、それによって最適な戦略のランダム性を制御します。
$\alpha$ 大: 探索する
$\alpha$ 小: エクスプロイト

$J(\alpha )=\underset{{1つの}_t\sim {\pi }_t}{\mathbb{え}}[-\alpha \mathrm{見よグ}{\pi }_t({1つの}_t|s_t)-\alpha \bar{\mathcal{H}}]$