Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl PDF-Versionshinweis-Organisation P5, P10 - P12
• Joyrl-Vergleichsergänzung P11-P13
• OpenAI-Dokumentenorganisation ⭐ https://spinningup.openai.com/en/latest/index.html

Neueste Version als PDF herunterladen
Adresse: https://github.com/datawhalechina/easy-rl/releases
Inländische Adresse (empfohlen für inländische Leser)：
Link: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Extraktionscode: us6a

Link zur Online-Version von easy-rl (zum Kopieren des Codes)
Referenzlink 2: https://datawhalechina.github.io/joyrl-book/

andere:
[Link zum Errata-Datensatz]
——————
5. Grundlagen des Deep Reinforcement Learning ⭐️
Open-Source-Inhalt: https://linklearner.com/learn/summary/11
——————————

Bildquelle

Proximale Richtlinienoptimierung (PPO)

Identische Strategie: Der zu erlernende Agent und der mit der Umgebung interagierende Agent sind gleich.
Heterogene Strategien: Der zu lernende Agent und der mit der Umgebung interagierende Agent sind unterschiedlich

Richtliniengradient: Das Sammeln von Daten nimmt viel Zeit in Anspruch

gleiche Strategie $\stackrel{Wichtigkeit\; der\; Stichprobe}{⟹}$ verschiedene Strategien

PPO: Vermeiden Sie zwei Distributionen, die sich zu stark unterscheiden. Gleicher Strategiealgorithmus
1. Ursprüngliche Optimierungselemente$J(\theta ,{\theta }^{\prime })$
2. Einschränkungselemente:$\theta$ Und${\theta }^{\prime }$ Die KL-Divergenz der Ausgabeaktion ($\theta$ Und${\theta }^{\prime }$ Je ähnlicher desto besser)

PPO hat einen Vorgänger: Trust Region Policy Optimization (TRPO)
TRPO ist schwierig zu handhaben, da es die KL-Divergenzbeschränkung als zusätzliche Einschränkung behandelt und nicht in die Zielfunktion eingefügt wird, sodass es schwierig zu berechnen ist. Daher verwenden wir im Allgemeinen PPO anstelle von TRPO. Die Leistung von PPO und TRPO ist ähnlich, PPO ist jedoch viel einfacher zu implementieren als TRPO.

KL-Divergenz: Aktionsdistanz.Wahrscheinlichkeitsverteilung der Ausführung einer Aktion Distanz.

Es gibt zwei Hauptvarianten des PPO-Algorithmus: Proximal Policy Optimization Penalty (PPO-Penalty) und Proximal Policy Optimization Clipping (PPO-Clip).

——————————
P10 Problem mit spärlicher Belohnung
1. Design-Belohnungen. Erfordert Domänenkenntnisse
Wie wäre es, wenn Sie jeder relevanten Aktion die endgültige Belohnung zuweisen?

2. Neugier
Intrinsisches Neugiermodul (ICM)
eingeben:$A_T,S_T$
Ausgabe:${\hat{S}}_{T+1}$
Der vorhergesagte Wert des Netzwerks${\hat{S}}_{T+1}$ mit wahrem Wert$S_{T+1}$ Je unterschiedlicher sie sind, desto$R_T^{ichchchchchchchchchchchchchchchchchchchchchch}$ Je größer

$R_T^{ichchchchchchchchchchchchchchchchchchchchchch}$ : Je schwieriger der zukünftige Zustand vorherzusagen ist, desto größer ist die Belohnung für die Aktion. Fördern Sie Abenteuer und Entdeckungen.

• Der Indikator ist zu einfach und Sie lernen möglicherweise nur nutzlose Dinge.

Feature-Extraktor

Netzwerk 2:
Eingabe: Vektor$\mathbf{\varphi }(S_T)$ Und$\mathbf{\varphi }(S_{T+1})$

Aktionen vorhersagen $\hat{A}$ Je näher an der realen Aktion, desto besser.

3. Kursstudium

Einfach -> Schwierig

Reverse-Curriculum-Lernen:
Gehen Sie ausgehend vom idealsten Endzustand [wir nennen ihn den Goldzustand] zuFinden Sie den Staat, der dem Golden State am nächsten kommt Als inszenierter „Idealzustand“, den der Agent erreichen soll. Natürlich werden wir dabei bewusst einige Extremzustände, also Zustände, die zu einfach oder zu schwierig sind, entfernen.

4. Hierarchisches Verstärkungslernen (HRL)
Die Strategie des Agenten ist in High-Level-Strategien und Low-Level-Strategien unterteilt. Die High-Level-Strategie bestimmt, wie die Low-Level-Strategie basierend auf dem aktuellen Status ausgeführt wird.

————————
P11 Nachahmungslernen
Bei der Belohnungsszene bin ich mir nicht sicher

Nachahmungslernen (IL)
Lernen durch Demonstration
Lehrlingsausbildung
Lernen durch Zuschauen

Es gibt klare Belohnungen: Brettspiele, Videospiele
Es können keine klaren Belohnungen vergeben werden: Chatbot

Sammeln Sie Expertendemonstrationen: menschliche Fahraufzeichnungen, menschliche Gespräche

Welche Art von Belohnungsfunktion hat der Experte umgekehrt bei diesen Maßnahmen?
Inverses Verstärkungslernen istFinden Sie zuerst die BelohnungsfunktionNachdem Sie die Belohnungsfunktion gefunden haben, verwenden Sie dann Verstärkungslernen, um den optimalen Akteur zu finden.

Lerntechnologie zur Nachahmung einer dritten Person

————————
P12 Tiefer deterministischer Richtliniengradient (DDPG)

Verwenden Sie eine Erfahrungswiederholungsstrategie

Analyse des Ablationsexperiments [kontrollierte Variablenmethode].jede EinschränkungEinfluss auf den Ausgang der Schlacht.

---

joyrl:

DDPG_continuous

in NotSicherheitStrategie undkontinuierliche AktionUnter der Voraussetzung des Weltraums wird dieser Algorithmustyp ein relativ stabiler Basisalgorithmus sein.

DQN für kontinuierliche Aktionsräume

Deep Deterministic Policy Gradient Algorithmus (DDPG)

Der Erfahrungswiedergabemechanismus kann die Korrelation zwischen Proben verringern, die effektive Nutzung von Proben verbessern und die Stabilität des Trainings erhöhen.

Mangel:
1. Kann nicht im diskreten Aktionsbereich verwendet werden
2、Stark abhängig von Hyperparametern
3. Hochsensible Anfangsbedingungen. Beeinflusst die Konvergenz und Leistung des Algorithmus
4. Es ist leicht, in das lokale Optimum zu fallen.

• Aufgrund der Annahme einer deterministischen Strategie kann der Algorithmus in ein lokales Optimum fallen und es schwierig machen, die globale optimale Strategie zu finden. Um die Erkundbarkeit zu erhöhen, müssen einige Maßnahmen ergriffen werden, beispielsweise das Hinzufügen von Lärmstrategien oder der Einsatz anderer Erkundungsmethoden.

Der Vorteil der sanften Aktualisierung besteht darin, dass sie sanfter und langsamer ist, wodurch Erschütterungen durch zu schnelle Gewichtsaktualisierungen vermieden und das Risiko einer Trainingsabweichung verringert werden können.

Doppelt verzögerter deterministischer Richtliniengradientenalgorithmus (zwillingsverzögertes DDPG, TD3)

Deterministischer Richtliniengradientenalgorithmus mit doppelter Verzögerung

Drei Verbesserungen: Double-Q-Netzwerk, verzögerte Aktualisierung, Rauschregulierung
Double-Q-Netzwerk : Zwei Q-Netzwerke, wählen Sie das mit dem kleineren Q-Wert. Um das Überschätzungsproblem des Q-Werts zu lösen und die Stabilität und Konvergenz des Algorithmus zu verbessern.

Verzögerte Aktualisierung: Lassen Sie die Aktualisierungshäufigkeit des Akteurs niedriger sein als die Aktualisierungshäufigkeit des Kritikers

• Denke nochmal nach

Lärm ist eher wie einRegulierungSodassAktualisierung der Wertfunktionmehrglatt

OpenAI Gym Library_Pendulum_TD3

Link zur OpenAI-Dokumentschnittstelle zu TD3

TD3-Papier-PDF-Link

PPO_Kontinuierlicher/Diskreter Aktionsraum [OpenAI 201708]

Der am häufigsten verwendete PPO-Algorithmus beim Reinforcement Learning
Diskret + kontinuierlich
Schnell und stabil, einfach anzupassende Parameter
Basisalgorithmus

Unentschlossenes PPO

In der Praxis werden im Allgemeinen Clip-Einschränkungen verwendet, da diese einfacher sind, einen geringeren Rechenaufwand erfordern und bessere Ergebnisse liefern.

Der Off-Policy-Algorithmus kannhistorische Erfahrungen nutzenVerwenden Sie im Allgemeinen die Erfahrungswiedergabe, um frühere Erfahrungen zu speichern und wiederzuverwenden.Die Effizienz der Datennutzung ist hoch。

PPO ist ein richtlinienkonformer Algorithmus

• Obwohl der wichtige Sampling-Teil Samples aus dem alten Actor-Sampling verwendet, haben wirDiese Beispiele werden nicht direkt zur Aktualisierung der Strategie verwendet. , aber verwenden Sie Wichtigkeitsstichproben, um zunächst die durch unterschiedliche Datenverteilungen verursachten Fehler zu korrigieren, auch wenn der Unterschied zwischen den beiden Stichprobenverteilungen so weit wie möglich reduziert wird.Mit anderen Worten, es kann verstanden werden, dass die Stichproben nach der Wichtigkeitsstichprobe zwar durch Stichproben mit der alten Strategie erhalten werden, dies jedoch möglich istUngefähr aus der aktualisierten Richtlinie entnommenDas heißt, der Schauspieler, den wir optimieren möchten, und der Schauspieler, den wir abtasten, sind identisch.

——————————————————

—— OpenAI-Dokumentation_PPO

OpenAI-Dokumentation
Paper-Link zur arXiv-Schnittstelle: Proximal Policy Optimization Algorithms

PPO: Richtlinienkonformer Algorithmus, geeignet für diskrete oder kontinuierliche Aktionsräume.Mögliches lokales Optimum

Die Motivation für PPO ist die gleiche wie für TRPO: wie man vorhandene Daten nutztMachen Sie den größtmöglichen Verbesserungsschritt in Ihrer Strategie, ohne es zu sehr zu ändern und versehentlich einen Leistungsabsturz zu verursachen?
TRPO versucht, dieses Problem mit einem ausgefeilten Ansatz zweiter Ordnung zu lösen, während PPO ein Ansatz erster Ordnung ist, der einige andere Tricks verwendet, um die neue Strategie nahe an der alten zu halten.
Die PPO-Methode ist viel einfacher zu implementieren und liefert empirisch mindestens die gleiche Leistung wie TRPO.

Es gibt zwei Hauptvarianten von PPO: PPO-Penalty und PPO-Clip.

• PPO-Strafe löst in etwa KL-Einschränkungsaktualisierungen wie TRPO, bestraft jedoch die KL-Divergenz in der Zielfunktion, anstatt sie zu einer harten Einschränkung zu machen, und passt den Strafkoeffizienten während des Trainings automatisch an, sodass er entsprechend skaliert.
• PPO-Clip hat keine KL-Divergenz und keine Einschränkungen in der Zielfunktion. Stattdessen beruht es auf einer spezifischen Anpassung der Zielfunktion, um den Anreiz für die neue Strategie zu beseitigen, sich von der alten Strategie zu entfernen.
  PPO-Clip (Hauptvariante von OpenAl).

Pseudocode des PPO-Clip-Algorithmus

Algorithmus: PPO-Clip
1: Eingabe: anfängliche Strategieparameter${\theta }_0$, Anfangswert-Funktionsparameter ${\varphi }_0$
2：$\mathbf{für}k=0,1,2,\dots \mathbf{Tun}$：
3：        ~~~~~~       Durch Ausführen der Richtlinie in der Umgebung ${\pi }_k=\pi ({\theta }_k)$ Sammeln Sie den Flugbahnsatz D k = { τ i } {cal D}_k={tau_i}Dk​={τichchchchchchchchchchchchchchchchchchchchchch​}
4：        ~~~~~~       Prämien berechnen (Rewards-to-go) ${\hat{R}}_T$ ▢ ${\hat{R}}_T$ Berechnungsregeln
5：        ~~~~~~       Berechnen Sie die Vorteilsschätzung basierend auf der aktuellen Wertfunktion $V_{{\varphi }_k}$ von${\hat{A}}_T$ (Verwenden Sie eine beliebige Methode zur Dominanzschätzung)       ~~~~~       ▢ Was sind die aktuellen Methoden zur Vorteilsschätzung?
6：        ~~~~~~       Aktualisieren Sie die Richtlinie, indem Sie die PPO-Clip-Zielfunktion maximieren:
            ~~~~~~~~~~~            
${\theta }_{k+1}=\mathrm{arG}\underset{\theta }{\max }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{T=0}^T\mathrm{Mindest}(\frac{{\pi }_{\theta }(A_T|S_T)}{{\pi }_{{\theta }_k}(A_T|S_T)}{A}^{{\pi }_{{\theta }_k}}(S_T,A_T),G(ϵ,A^{{\pi }_{{\theta }_k}}(S_T,A_T)))$       ~~~~~       ▢ Wie ermittelt man die Strategieaktualisierungsformel?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_k}$ : Strategieparametervektor vor der Aktualisierung. Bedeutung der Probenahme. Sampling aus alten Strategien.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Allgemeiner stochastischer Gradientenaufstieg + Adam
7：        ~~~~~~       mittlerer quadratischer FehlerRegressionsanpassungswertfunktion:
            ~~~~~~~~~~~            
${\varphi }_{k+1}=\mathrm{arG}\underset{\varphi }{\mathrm{Mindest}}\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{T=0}^T(V_{\varphi }(S_T)-{\hat{R}}_T{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Allgemeiner Gefälleabstieg
8：$\mathbf{Ende}\mathbf{für}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$G(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

in der ZeitungVorteilsschätzung:

${\hat{A}}_T=-V(S_T)+\underset{{\hat{R}}_T???}{\underbrace{R_T+\gamma R_{T+1}+\cdots +{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}V(S_T)}}$

machen ${\Delta }_T=R_T+\gamma V(S_{T+1})-V(S_T)$
Aber$R_T={\Delta }_T-\gamma V(S_{T+1})+V(S_T)$

Ersatz ${\hat{A}}_T$ Ausdruck

$\begin{array}{rl}{\hat{A}}_T& =-V(S_T)+R_T+\gamma R_{T+1}+{\gamma }^2{R}_{T+2}+\cdots +{\gamma }^{T-T}{R}_{T-2}+{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}V(S_T)\\ & =-V(S_T)+R_T+\gamma R_{T+1}+\cdots +{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}V(S_T)\\ & =-V(S_T)+\\ & {\Delta }_T-\gamma V(S_{T+1})+V(S_T)+\\ & \gamma ({\Delta }_{T+1}-\gamma V(S_{T+2})+V(S_{T+1}))+\\ & {\gamma }^2({\Delta }_{T+2}-\gamma V(S_{T+3})+V(S_{T+1}))+\\ & \cdots +\\ & {\gamma }^{T-T}({\Delta }_{T-T}-\gamma V(S_{T-T+1})+V(S_{T-T}))+\\ & {\gamma }^{T-T+1}({\Delta }_{T-1}-\gamma V(S_T)+V(S_{T-1}))+\\ & {\gamma }^{T-T}V(S_T)\\ & ={\Delta }_T+\gamma {\Delta }_{T+1}+{\gamma }^2{\Delta }_{T+2}+\cdots +{\gamma }^{T-T}{\Delta }_{T-T}+{\gamma }^{T-T+1}{\Delta }_{T-1}\end{array}$

Clipping wirkt als Regularisierer, indem es den Anreiz für drastische Änderungen in der Politik beseitigt.Hyperparameter $ϵ$ Entspricht dem Abstand zwischen der neuen Strategie und der alten Strategie。

Es ist immer noch möglich, dass diese Art des Abschneidens irgendwann zu einer neuen Strategie führt, die weit von der alten Strategie entfernt ist. Bei der Umsetzung verwenden wir hier eine besonders einfache Methode:Hören Sie früh auf . Wenn die durchschnittliche KL-Divergenz der neuen Richtlinie von der alten Richtlinie einen Schwellenwert überschreitet, beenden wir die Ausführung des Gradientenschritts.

Einfacher Ableitungslink der PPO-Zielfunktion
Die Zielfunktion von PPO-Clip ist:
  ~  
$M_{{\theta }_k}^{\mathrm{CLIP}}(\theta )=\underset{S,A\sim {\theta }_k}{E}\left[\mathrm{Mindest}\right(\frac{{\pi }_{\theta }(A|S)}{{\pi }_{{\theta }_k}(A|S)}{A}^{{\theta }_k}(S,A),\mathrm{Beschneiden}(\frac{{\pi }_{\theta }(A|S)}{{\pi }_{{\theta }_k}(A|S)},1-ϵ,1+ϵ)A^{{\theta }_k}(S,A)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{S,A\sim {\theta }_k}{E}$
  ~  
NEIN.$k$ Strategieparameter für Iterationen${\theta }_k$， $ϵ$ ist ein kleiner Hyperparameter.
aufstellen$ϵ\in (0,1)$, Definition
$F(R,A,ϵ)\doteq \mathrm{Mindest}(RA,\mathrm{Beschneiden}(R,1-ϵ,1+ϵ)A)$
Wann $A\ge 0$
$\begin{array}{rl}F(R,A,ϵ)& =\mathrm{Mindest}(RA,\mathrm{Beschneiden}(R,1-ϵ,1+ϵ)A)\\ & =A\mathrm{Mindest}(R,\mathrm{Beschneiden}(R,1-ϵ,1+ϵ))\\ & =A\mathrm{Mindest}(R,\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \mathrm{Mindest}(R,1+ϵ)& R\ge 1+ϵ\\ & \mathrm{Mindest}(R,R)& R\in (1-ϵ,1+ϵ)\\ & \mathrm{Mindest}(R,1-ϵ)& R\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & R& R\le 1-ϵ\end{array}\right\}Entsprechend\; dem\; Bereich\; rechts\\ & =A\mathrm{Mindest}(R,1+ϵ)\\ & =\mathrm{Mindest}(RA,(1+ϵ)A)\end{array}$
  ~  
Wann $A<0$
$\begin{array}{rl}F(R,A,ϵ)& =\mathrm{Mindest}(RA,\mathrm{Beschneiden}(R,1-ϵ,1+ϵ)A)\\ & =A\mathrm{MAX}(R,\mathrm{Beschneiden}(R,1-ϵ,1+ϵ))\\ & =A\max (R,\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \max (R,1+ϵ)& R\ge 1+ϵ\\ & \max (R,R)& R\in (1-ϵ,1+ϵ)\\ & \max (R,1-ϵ)& R\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& R& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\}Entsprechend\; dem\; Bereich\; rechts\\ & =A\max (R,1-ϵ)\\ & =\mathrm{MichchchchchchchchchchchchchchchchchchchchchchN}(RA,(1-ϵ)A)\end{array}$
  ~  
Zusammenfassend: definierbar$G(ϵ,A)$
$G(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

Warum verhindert diese Definition, dass die neue Strategie zu weit von der alten Strategie abweicht?
Effektive Wichtigkeitsstichprobenverfahren erfordern neue Strategien ${\pi }_{\theta }(A|S)$ und alte Strategien${\pi }_{{\theta }_k}(A|S)$ Der Unterschied zwischen den beiden Verteilungen darf nicht zu groß sein

1. Wenn der Vorteil positiv ist

$M(S,A,{\theta }_k,\theta )=\mathrm{Mindest}(\frac{{\pi }_{\theta }(A|S)}{{\pi }_{{\theta }_k}(A|S)},1+ϵ)A^{{\pi }_{{\theta }_k}}(S,A)$
Vorteilsfunktion: Finden Sie ein bestimmtes Zustands-Aktionspaar mit mehr Belohnungen -&gt; erhöhen Sie das Gewicht des Zustands-Aktionspaars.

Bei einem Zustand-Aktions-Paar $(S,A)$ ist positiv, dann wenn die Aktion$A$ wahrscheinlicher ist, dass es ausgeführt wird, d. h. wenn${\pi }_{\theta }(A|S)$ Steigern Sie und das Ziel wird größer.
min in diesem Element begrenzt die Zielfunktion so, dass sie nur auf einen bestimmten Wert ansteigt
einmal${\pi }_{\theta }(A|S)>(1+ϵ){\pi }_{{\theta }_k}(A|S)$, min löst aus und begrenzt den Wert dieses Elements auf $(1+ϵ){\pi }_{{\theta }_k}(A|S)$。
die neue Politik profitiert nicht davon, wenn sie weit von der alten Politik abweicht.
Die neue Strategie wird nicht von einer Abkehr von der alten Strategie profitieren.

2. Wenn der Vorteil negativ ist

$M(S,A,{\theta }_k,\theta )=\max (\frac{{\pi }_{\theta }(A|S)}{{\pi }_{{\theta }_k}(A|S)},1-ϵ)A^{{\pi }_{{\theta }_k}}(S,A)$

Bei einem Zustand-Aktions-Paar $(S,A)$ Der Vorteil ist dann negativ, wenn die Aktion erfolgt$A$ ist noch weniger wahrscheinlich, das heißt, wenn${\pi }_{\theta }(A|S)$ abnimmt, nimmt die Zielfunktion zu. Das Maximum in diesem Term begrenzt jedoch, um wie viel die Zielfunktion erhöht werden kann.
einmal${\pi }_{\theta }(A|S)<(1-ϵ){\pi }_{{\theta }_k}(A|S)$, maximale Auslöser, wodurch der Wert dieses Elements auf begrenzt wird $(1-ϵ){\pi }_{{\theta }_k}(A|S)$。

Nochmals: Die neue Politik profitiert nicht davon, dass sie sich weit von der alten Politik entfernt.
Die neue Strategie wird nicht von einer Abkehr von der alten Strategie profitieren.

TD3_nur aufeinanderfolgend: Twin Delayed Deep Deterministic Policy Gradient [ICML 2018 (Kanada) McGill University]

Bildquelle

OpenAI-Dokumentation_TD3
Link zum Papier

Während DDPG manchmal eine hervorragende Leistung erzielen kann, ist es häufig instabil, wenn es um Hyperparameter und andere Arten der Optimierung geht.
Ein häufiger DDPG-Fehlermodus besteht darin, dass die erlernte Q-Funktion beginnt, den Q-Wert deutlich zu überschätzen, was dann dazu führt, dass die Richtlinie bricht, weil sie den Fehler in der Q-Funktion ausnutzt.
Twin Delayed DDPG (TD3) ist ein Algorithmus, der dieses Problem durch die Einführung von drei Schlüsseltechniken löst:
1、Abgeschnittenes doppeltes Q-Learning。

• TD3 lernt zwei Q-Funktionen statt einer (daher der „Zwilling“) und verwendet den kleineren der beiden Q-Werte, um das Ziel in der Bellman-Fehlerverlustfunktion zu bilden.

2、Verzögerung bei der Richtlinienaktualisierung。

• TD3 aktualisiert die Richtlinie (und das Zielnetzwerk) seltener als die Q-Funktion. Das Papier empfiehlt, die Richtlinie jedes Mal zu aktualisieren, wenn die Q-Funktion zweimal aktualisiert wird.

3. Glättung der Zielstrategie.

• TD3 fügt der Zielaktion Rauschen hinzu, wodurch es für die Richtlinie schwieriger wird, Fehler in der Q-Funktion auszunutzen, indem Q über Aktionsänderungen hinweg geglättet wird.

TD3 ist ein Off-Policy-Algorithmus; er kann nur mit verwendet werdenkontinuierlichDie Umgebung des Aktionsraums.

Pseudocode des TD3-Algorithmus

Algorithmus: TD3
Verwenden Sie zufällige Parameter${\theta }_1,{\theta }_2,\varphi$ Kritikernetzwerk initialisieren$Q_{{\theta }_1},Q_{{\theta }_2}$und Akteursnetzwerk ${\pi }_{\varphi }$
Zielnetzwerk initialisieren${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Wiedergabepuffersatz initialisieren$\mathcal{B}$
$\mathbf{für}T=1\mathbf{Zu}T$ ：
       ~~~~~~       Wählen Sie Aktion mit Erkundungsgeräusch $A\sim {\pi }_{\varphi }(S)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$, Beobachtungsbelohnung $R$ und neuer Status$S^{\prime }$
       ~~~~~~       Das Übergangstupel $(S,A,R,S^{\prime })$ Anzahlung an$\mathcal{B}$ Mitte
       ~~~~~~       aus $\mathcal{B}$ Bemusterung kleiner Chargen$N$ Übergänge$(S,A,R,S^{\prime })$
$\tilde{A}\leftarrow {\pi }_{{\varphi }^{\prime }}(S^{\prime })+ϵ,ϵ\sim \mathrm{Beschneiden}(\mathcal{N}(0,\tilde{\sigma }),-C,C)$
$j\leftarrow R+\gamma \underset{ichchchchchchchchchchchchchchchchchchchchchch=1,2}{\mathrm{Mindest}}{Q}_{{\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}^{\prime }}(S^{\prime },\tilde{A})$
       ~~~~~~       Update-Kritiker ${\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}\leftarrow \mathrm{arG}\underset{{\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}}{\mathrm{Mindest}}{N}^{-1}\sum (j-Q_{{\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}}(S,A){)}^2$
       ~~~~~~        $\mathbf{Wenn}T\%D$：
            ~~~~~~~~~~~            Aktualisierung über deterministischen Richtliniengradienten $\varphi$
${\nabla }_{\varphi }J(\varphi )=N^{-1}\sum {\nabla }_A{Q}_{{\theta }_1}(S,A){|}_{A={\pi }_{\varphi }(S)}{\nabla }_{\varphi }{\pi }_{\varphi }(S)$
            ~~~~~~~~~~~            Zielnetzwerk aktualisieren:
${\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}^{\prime }\leftarrow \tau {\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}+(1-\tau ){\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}^{\prime }$$\tau$: Zielaktualisierungsrate
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{Ende}\mathbf{Wenn}$
$\mathbf{Ende}\mathbf{für}$

Soft Actor-Critic: SAC_Continuous/Discrete Action Space [Google Brain neueste Version 201906]

Bildquelle

Maximieren Sie die Entropie der Richtlinie und machen Sie sie dadurch robuster.

deterministische Strategie Das bedeutet, dass bei gleichem Zustand immer die gleiche Aktion gewählt wird
Zufallsstrategie Das bedeutet, dass es in einem bestimmten Zustand viele mögliche Aktionen gibt, die ausgewählt werden können.

In der tatsächlichen Anwendung werden wir dies tun, sofern die Bedingungen dies zulassenVersuchen zu benutzenZufallsstrategie, wie A2C, PPO usw., weil es flexibler, robuster und stabiler ist.

Das Lernen zur Verstärkung der maximalen Entropie geht davon aus, dass wir, obwohl wir derzeit über ausgereifte Zufälligkeitsstrategien verfügen, nämlich Algorithmen wie AC, immer noch keine optimale Zufälligkeit erreicht haben.Daher führt es einInformationsentropieKonzept, inMaximieren Sie die kumulative Belohnung und maximieren Sie gleichzeitig die Entropie der Richtlinie, wodurch die Strategie robuster wird und die optimale Zufallsstrategie erreicht wird.

——————————————————

—— OpenAI-Dokumentation_SAC

OpenAI Documentation_SAC-Schnittstellenlink
  ~  
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning mit einem stochastischen Akteur, Haarnoja et al, 201808 ICML 2018
Soft Actor-Critic Algorithmen und Anwendungen, Haarnoja et al, 201901
Laufen lernen durch Deep Reinforcement Learning, Haarnoja et al, 201906 RSS2019

Soft Actor Critic (SAC) optimiert zufällige Strategien außerhalb der Richtlinien.

DDPG + stochastische Strategieoptimierung

Kein direkter Nachfolger von TD3 (ungefähr zur gleichen Zeit veröffentlicht).

Es beinhaltet den abgeschnittenen Double-Q-Trick und profitiert aufgrund der inhärenten Zufälligkeit der SAC-Strategie letztendlich auch davonZielpolitische Glättung。

Ein Kernmerkmal von SAC ist Entropie-Regularisierung Entropie-Regularisierung。
Die Richtlinie ist darauf trainiert, den Kompromiss zwischen erwarteter Belohnung und Entropie zu maximieren.Entropie ist ein Maß für die Zufälligkeit einer Richtlinie。
Dies hängt eng mit dem Kompromiss zwischen Exploration und Ausbeutung zusammen: Eine Erhöhung der Entropie führt zuMehr zu entdecken,das ist in OrdnungBeschleunigen Sie anschließendes Lernen .Es ist in OrdnungVerhindern Sie, dass sich die Richtlinie vorzeitig einem schlechten lokalen Optimum annähert。

Es kann sowohl im kontinuierlichen Aktionsraum als auch im diskreten Aktionsraum verwendet werden.

existieren Entropiereguliertes Verstärkungslernen, erhält der Agent undDie Entropie der Richtlinie zu diesem ZeitpunktProportionale Belohnungen.
Derzeit wird das RL-Problem wie folgt beschrieben:

${\pi }^{\ast }=\mathrm{arG}\underset{\pi }{\max }\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,A_T,S_{T+1})+\alpha H(\pi (\cdot |S_T)))]$

In $\alpha >0$ ist der Kompromisskoeffizient.
Zustandswertfunktion einschließlich Entropiebelohnung bei jedem Zeitschritt$V^{\pi }$ für:

$V^{\pi }(S)=\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,A_T,S_{T+1})+\alpha H(\pi (\cdot |S_T)))|S_0=S]$

Eine Aktionswertfunktion, die die Entropiebelohnung für jeden Zeitschritt außer dem ersten enthält $Q^{\pi }$:

$Q^{\pi }(S,A)=\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,A_T,S_{T+1})+\alpha \sum _{T=1}^{\infty }H(\pi (\cdot |S_T)))|S_0=S,A_0=A]$

• einige Papiere $Q^{\pi }$ Enthält die Entropiebelohnung für den ersten Zeitschritt

$V^{\pi }$ Und$Q^{\pi }$ Die Beziehung zwischen ist:

$V^{\pi }(S)=\underset{A\sim \pi }{E}[Q^{\pi }(S,A)]+\alpha H(\pi (\cdot |S))$

um $Q^{\pi }$ Die Bellman-Formel lautet:

$\begin{array}{rl}{Q}^{\pi }(S,A)& =\underset{\genfrac{}{}{0ex}{}{S^{\prime }\sim P}{A^{\prime }\sim \pi }}{E}[R(S,A,S^{\prime })+\gamma (Q^{\pi }(S^{\prime },A^{\prime })+\alpha H(\pi (\cdot |S^{\prime })))]\\ & =\underset{S^{\prime }\sim P}{E}[R(S,A,S^{\prime })+\gamma V^{\pi }(S^{\prime })]\end{array}$

SAC lernt gleichzeitig eine Richtlinie ${\pi }_{\theta }$ und zwei$Q$ Funktion$Q_{{\varphi }_1},Q_{{\varphi }_2}$。
Derzeit gibt es zwei Varianten des Standard-SAC: Die eine nutzt einen festenEntropie-Regularisierungskoeffizient $\alpha$, ein weiterer durch Wechsel während des Trainings $\alpha$ um Entropiebeschränkungen durchzusetzen.
In der Dokumentation von OpenAI wird eine Version mit einem festen Entropie-Regularisierungskoeffizienten verwendet, in der Praxis wird diese jedoch häufig bevorzugtEntropiebeschränkungVariante.

Wie unten gezeigt, in $\alpha$ In der festen Version haben die anderen, mit Ausnahme des letzten Bildes, das offensichtliche Vorteile hat, nur geringfügige Vorteile, im Grunde die gleichen wie$\alpha$ Die Lernversion bleibt dieselbe;$\alpha$ Deutlicher sind die beiden mittleren Bilder, bei denen die Lernversion Vorteile hat.

Bildquelle

SAC VSTD3:
  ~  
Gleicher Punkt:
1. Beide Q-Funktionen werden durch Minimierung des MSBE (Mean Squared Bellman Error) durch Regression auf ein einziges gemeinsames Ziel erlernt.
2. Verwenden Sie das Ziel-Q-Netzwerk, um das gemeinsame Ziel zu berechnen, und führen Sie während des Trainingsprozesses eine Polyak-Mittelung der Q-Netzwerk-Parameter durch, um das Ziel-Q-Netzwerk zu erhalten.
3. Das gemeinsame Ziel verwendet die Technik des abgeschnittenen Doppel-Q.
  ~  
Unterschied:
1. SAC enthält einen Entropie-Regularisierungsterm
2. Die nächste staatliche Aktion, die im SAC-Ziel verwendet wird, stammt vonAktuelle Strategie, und nicht die Zielstrategie.
3. Es gibt keine klare Zielstrategie für die Glättung. TD3 trainiert eine deterministische Richtlinie, indem es zum nächsten Zustand übergehtFügen Sie zufälliges Rauschen hinzu Glätte zu erreichen. SAC trainiert eine Zufallsrichtlinie, und das durch den Zufall verursachte Rauschen reicht aus, um ähnliche Effekte zu erzielen.

Pseudocode des SAC-Algorithmus

Algorithmus: Soft Actor-Critic SAC
eingeben:${\theta }_1,{\theta }_2,\varphi$ Initialisierungsparameter
Parameterinitialisierung:
       ~~~~~~       Zielnetzwerkgewichte initialisieren:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Der Wiedergabepool wird als leer initialisiert:$\mathcal{D}\leftarrow \varnothing$
$\mathbf{für}$ jede Iteration$\mathbf{Tun}$ ：
       ~~~~~~       $\mathbf{für}$ Jeder Umgebungsschritt$\mathbf{Tun}$ ：
            ~~~~~~~~~~~            Beispielaktionen aus einer Richtlinie: $A_T\sim {\pi }_{\varphi }(A_T|S_T)$ ▢Hier ${\pi }_{\varphi }(A_T|S_T)$ Wie definieren?
            ~~~~~~~~~~~            Beispielübergänge aus der Umgebung:$S_{T+1}\sim P(S_{T+1}|S_T,A_T)$
            ~~~~~~~~~~~            Speichern Sie den Übergang in den Wiedergabepool: $\mathcal{D}\leftarrow \mathcal{D}\cup \{(S_T,A_T,R(S_T,A_T),S_{T+1})\}$
       ~~~~~~       $\mathbf{Ende}\mathbf{für}$
       ~~~~~~       $\mathbf{für}$ Jeder Farbverlaufsschritt$\mathbf{Tun}$ ：
            ~~~~~~~~~~~            erneuern $Q$ Funktionsparameter: für i ∈ { 1 , 2 } iin{1,2}ichchchchchchchchchchchchchchchchchchchchchch∈{1,2}，${\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}\leftarrow {\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}-{\lambda }_Q{\hat{\nabla }}_{{\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}}{J}_Q({\theta }_{ichchchchchchchchchchchchchchchchchchchchchch})$ ▢Hier $J_Q({\theta }_{ichchchchchchchchchchchchchchchchchchchchchch})$ Wie definieren?
            ~~~~~~~~~~~            Strategiegewichte aktualisieren: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢Hier $J_{\pi }(\varphi )$ Wie definieren?
            ~~~~~~~~~~~            Temperatur anpassen: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢Hier $J(\alpha )$ Wie definieren?Wie ist hier die Temperatur zu verstehen?
            ~~~~~~~~~~~             Zielnetzwerkgewichte aktualisieren: für i ∈ { 1 , 2 } iin{1,2}ichchchchchchchchchchchchchchchchchchchchchch∈{1,2}，${\bar{\theta }}_{ichchchchchchchchchchchchchchchchchchchchchch}\leftarrow \tau {\theta }_{ichchchchchchchchchchchchchchchchchchchchchch}-(1-\tau ){\bar{\theta }}_{ichchchchchchchchchchchchchchchchchchchchchch}$ ▢ Wie man das versteht $\tau$ ? ——&gt;Zielglättungskoeffizient
       ~~~~~~       $\mathbf{Ende}\mathbf{für}$
$\mathbf{Ende}\mathbf{für}$
Ausgabe:${\theta }_1,{\theta }_1,\varphi$Optimierte Parameter

$\hat{\nabla }$: stochastischer Gradient

$emptyset$$\varnothing$

Laufen lernen durch Deep Reinforcement Learning Version in:
  ~  

$\alpha$ ist der Temperaturparameter, der die relative Bedeutung des Entropieterms und der Belohnung bestimmt und so die Zufälligkeit der optimalen Strategie steuert.
$\alpha$ Groß: Entdecken
$\alpha$ Klein: ausnutzen

$J(\alpha )=\underset{A_T\sim {\pi }_T}{\mathbb{E}}[-\alpha \mathrm{ohG}{\pi }_T(A_T|S_T)-\alpha \bar{\mathcal{H}}]$