Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl Versione PDF organizzazione note P5, P10 - P12
• supplemento comparativo joyrl P11-P13
• Organizzazione dei documenti OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Download dell'ultima versione PDF
Indirizzo: https://github.com/datawhalechina/easy-rl/releases
Indirizzo nazionale (consigliato per i lettori nazionali)：
Link: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Codice di estrazione: us6a

Link alla versione online di easy-rl (per copiare il codice)
Link di riferimento 2: https://datawhalechina.github.io/joyrl-book/

altro:
[Link al record Errata]
——————
5. Nozioni di base sull'apprendimento per rinforzo profondo ⭐️
Contenuti open source: https://linklearner.com/learn/summary/11
——————————

Fonte immagine

Ottimizzazione della politica prossimale (PPO)

Strategia identica: l'agente da apprendere e l'agente che interagisce con l'ambiente sono lo stesso.
Strategie eterogenee: l'agente che apprende e l'agente che interagisce con l'ambiente sono diversi

Gradiente politico: richiede molto tempo per campionare i dati

stessa strategia $\stackrel{campionamento\; di\; importanza}{⟹}$ strategie diverse

PPO: evitare due distribuzioni troppo diverse. stesso algoritmo strategico
1. Elementi di ottimizzazione originali$J(\theta ,{\theta }^{\prime })$
2. Elementi di vincolo:$\theta$ E${\theta }^{\prime }$ La divergenza KL dell'azione di uscita ($\theta$ E${\theta }^{\prime }$ Più sono simili, meglio è)

Il PPO ha un predecessore: l'ottimizzazione della politica della regione fiduciaria (TRPO)
TRPO è difficile da gestire perché tratta il vincolo di divergenza KL come un vincolo aggiuntivo e non è inserito nella funzione obiettivo, quindi è difficile da calcolare. Pertanto, generalmente utilizziamo PPO anziché TRPO. Le prestazioni di PPO e TRPO sono simili, ma PPO è molto più semplice da implementare rispetto a TRPO.

Divergenza KL: distanza d'azione.Distribuzione della probabilità di eseguire un'azione distanza.

Esistono due varianti principali dell'algoritmo PPO: la penalità di ottimizzazione della politica prossimale (penalità PPO) e il ritaglio di ottimizzazione della politica prossimale (PPO-clip).

——————————
P10 Problema di scarsa ricompensa
1. Premi di progettazione. Richiede conoscenza del dominio
Che ne dici di assegnare la ricompensa finale a ciascuna azione rilevante?

2. Curiosità
Modulo curiosità intrinseca (ICM)
accedere:${UN}_T,S_T$
Produzione:${\hat{S}}_{T+1}$
Il valore previsto della rete${\hat{S}}_{T+1}$ con vero valore$S_{T+1}$ Più sono dissimili, più$R_T^{ioooooooooooooooooooooo}$ Il più grande

$R_T^{ioooooooooooooooooooooo}$ : Quanto più difficile è prevedere lo stato futuro, tanto maggiore sarà la ricompensa per l’azione. Incoraggiare l'avventura e l'esplorazione.

• L'indicatore è troppo singolo e potresti imparare solo cose inutili.

estrattore di funzionalità

Rete 2:
Ingresso: vettore$\mathbf{\varphi }(S_T)$ E$\mathbf{\varphi }(S_{T+1})$

Prevedere le azioni $\widehat{UN}$ Quanto più ci si avvicina all'azione reale, tanto meglio è.

3. Corso di studio

Facile -> Difficile

Apprendimento del curriculum inverso:
Partendo dallo stato finale più ideale [lo chiamiamo stato dell'oro], vai aTrova lo stato più vicino allo stato d'oro Come stato "ideale" graduale che desideri che l'agente raggiunga. Naturalmente, in questo processo rimuoveremo intenzionalmente alcuni stati estremi, cioè stati troppo facili o troppo difficili.

4. Apprendimento per rinforzo gerarchico (HRL)
La strategia dell'agente è divisa in strategie di alto livello e strategie di basso livello. La strategia di alto livello determina come eseguire la strategia di basso livello in base allo stato attuale.

————————
P11 Apprendimento per imitazione
Non sono sicuro della scena della ricompensa

Apprendimento per imitazione (IL)
imparare dalla dimostrazione
Apprendimento in apprendistato
imparare guardando

Ci sono ricompense chiare: giochi da tavolo, videogiochi
Impossibile dare ricompense chiare: chatbot

Raccogli dimostrazioni di esperti: registrazioni di guida umana, conversazioni umane

Al contrario, che tipo di funzione di ricompensa svolge l’esperto per queste azioni?
L’apprendimento per rinforzo inverso lo èPer prima cosa trova la funzione di ricompensa, dopo aver trovato la funzione di ricompensa, utilizzare l'apprendimento per rinforzo per trovare l'attore ottimale.

Tecnologia di apprendimento per imitazione della terza persona

————————
P12 Gradiente politico deterministico profondo (DDPG)

Usa la strategia di riproduzione dell'esperienza

Analisi dell'esperimento di ablazione [metodo delle variabili controllate].ogni vincoloincidere sull’esito della battaglia.

---

gioia:

DDPG_continuo

bisognosocertezzastrategia eazione continuaSotto la premessa dello spazio, questo tipo di algoritmo sarà un algoritmo di base relativamente stabile.

DQN per spazi di azione continua

Algoritmo del gradiente di politica deterministica profonda (DDPG)

Il meccanismo di riproduzione dell'esperienza può ridurre la correlazione tra i campioni, migliorare l'utilizzo efficace dei campioni e aumentare la stabilità dell'addestramento.

discordanza:
1. Non può essere utilizzato nello spazio azione discreto
2、Altamente dipendente dagli iperparametri
3. Condizioni iniziali altamente sensibili. Influisce sulla convergenza e sulle prestazioni dell'algoritmo
4. È facile cadere nell'ottimo locale.

• A causa dell’adozione di una strategia deterministica, l’algoritmo potrebbe cadere in un ottimo locale e rendere difficile trovare la strategia ottimale globale. Per aumentare l’esplorabilità è necessario adottare alcune misure, come l’aggiunta di strategie di rumore o l’utilizzo di altri metodi di esplorazione.

Il vantaggio dell'aggiornamento soft è che è più fluido e lento, il che può evitare shock causati da aggiornamenti del peso troppo rapidi e ridurre il rischio di divergenza dell'allenamento.

Algoritmo del gradiente di politica deterministica con doppio ritardo (DDPG doppio ritardato, TD3)

Algoritmo del gradiente di politica deterministica a doppio ritardo

Tre miglioramenti: rete Double Q, aggiornamento ritardato, regolarizzazione del rumore
Rete Doppia Q : Due reti Q, scegli quella con il valore Q più piccolo. Affrontare il problema della sovrastima del valore Q e migliorare la stabilità e la convergenza dell'algoritmo.

Aggiornamento ritardato: lascia che la frequenza di aggiornamento dell'attore sia inferiore alla frequenza di aggiornamento della critica

• Pensa due volte

Il rumore è più simile a aRegolarizzazionein modo cheaggiornamento della funzione valoreDi piùliscio

OpenAI Gym Library_Pendulum_TD3

Collegamento all'interfaccia del documento OpenAI su TD3

Collegamento PDF cartaceo TD3

PPO_Spazio di azione continua/discreta [OpenAI 201708]

L'algoritmo PPO più comunemente utilizzato nell'apprendimento per rinforzo
Discreto + continuo
Parametri veloci e stabili, facili da regolare
algoritmo di base

PPP indeciso

In pratica, i vincoli di clip vengono generalmente utilizzati perché sono più semplici, hanno costi computazionali inferiori e producono risultati migliori.

L'algoritmo fuori policy può farlosfruttare l’esperienza storica, generalmente utilizza la riproduzione dell'esperienza per archiviare e riutilizzare l'esperienza precedente,L'efficienza nell'utilizzo dei dati è elevata。

PPO è un algoritmo on-policy

• Sebbene la parte del campionamento per importanza utilizzi campioni del vecchio campionamento degli attori, noiQuesti campioni non vengono utilizzati direttamente per aggiornare la strategia. , ma utilizzare il campionamento per importanza per correggere prima gli errori causati da diverse distribuzioni di dati, anche se la differenza tra le due distribuzioni campionarie è ridotta il più possibile.In altre parole, si può capire che, sebbene i campioni dopo il campionamento per importanza siano ottenuti campionando con la vecchia strategia, è possibile farloOttenuto approssimativamente dalla policy aggiornata, ovvero l'attore che vogliamo ottimizzare e l'attore che campioniamo sono gli stessi.

——————————————————

—— Documentazione OpenAI_PPO

Documentazione OpenAI
Collegamento all'interfaccia di arXiv del documento: Algoritmi di ottimizzazione delle politiche prossimali

PPO: algoritmo on-policy, adatto a spazi di azione discreti o continui.Possibile ottimo locale

La motivazione per il PPO è la stessa del TRPO: come sfruttare i dati esistentiFai il passo di miglioramento più grande possibile nella tua strategia, senza modificarlo troppo e causare accidentalmente un calo delle prestazioni?
TRPO tenta di risolvere questo problema con un sofisticato approccio di secondo ordine, mentre PPO è un approccio di primo ordine che utilizza altri trucchi per mantenere la nuova strategia vicina a quella vecchia.
Il metodo PPO è molto più semplice da implementare e, empiricamente, funziona almeno altrettanto bene del TRPO.

Esistono due varianti principali del PPO: PPO-Penalty e PPO-Clip.

• La penalità PPO risolve approssimativamente gli aggiornamenti dei vincoli KL come TRPO, ma penalizza la divergenza KL nella funzione obiettivo invece di renderla un vincolo rigido e regola automaticamente il coefficiente di penalità durante l'addestramento in modo che si ridimensioni in modo appropriato.
• PPO-Clip non ha divergenza KL e nessun vincolo nella funzione obiettivo. Si basa invece su un adattamento specifico della funzione obiettivo per rimuovere l’incentivo affinché la nuova strategia si allontani dalla vecchia strategia.
  PPO-Clip (variante principale utilizzata da OpenAl).

Pseudocodice dell'algoritmo PPO-Clip

Algoritmo: PPO-Clip
1: Input: parametri iniziali della strategia${\theta }_0$, parametri della funzione valore iniziale ${\varphi }_0$
2：$\mathbf{per}K=0,1,2,\dots \mathbf{Fare}$：
3：        ~~~~~~       Eseguendo la politica nell’ambiente ${\pi }_K=\pi ({\theta }_K)$ Raccogli il set di traiettorie D k = { τ i } {cal D}_k={tau_i}DK​={τioooooooooooooooooooooo​}
4：        ~~~~~~       Calcola i premi (rewards-to-go) ${\hat{R}}_T$ ▢ ${\hat{R}}_T$ regole di calcolo
5：        ~~~~~~       Stima del vantaggio di calcolo, basata sulla funzione del valore corrente $E_{{\varphi }_K}$ Di${\widehat{UN}}_T$ (Utilizzare qualsiasi metodo di stima della dominanza)       ~~~~~       ▢ Quali sono gli attuali metodi di stima dei vantaggi?
6：        ~~~~~~       Aggiorna la policy massimizzando la funzione obiettivo PPO-Clip:
            ~~~~~~~~~~~            
${\theta }_{K+1}=\mathrm{essoG}\underset{\theta }{\mathrm{massimo}}\frac{1}{|{\mathcal{D}}_K|T}\sum _{\tau \in {\mathcal{D}}_K}\sum _{T=0}^T\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(\frac{{\pi }_{\theta }({UN}_T|S_T)}{{\pi }_{{\theta }_K}({UN}_T|S_T)}{UN}^{{\pi }_{{\theta }_K}}(S_T,{UN}_T),G(ϵ,{UN}^{{\pi }_{{\theta }_K}}(S_T,{UN}_T)))$       ~~~~~       ▢ Come determinare la formula di aggiornamento della strategia?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_K}$ : Vettore dei parametri di strategia prima dell'aggiornamento. Campionamento di importanza. Campionamento da vecchie strategie.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Ascesa stocastica generale + Adam
7：        ~~~~~~       errore quadratico mediofunzione del valore adattato di regressione:
            ~~~~~~~~~~~            
${\varphi }_{K+1}=\mathrm{essoG}\underset{\varphi }{\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}}\frac{1}{|{\mathcal{D}}_K|T}\sum _{\tau \in {\mathcal{D}}_K}\sum _{T=0}^T(E_{\varphi }(S_T)-{\hat{R}}_T{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Discesa generale del gradiente
8：$\mathbf{FINE}\mathbf{per}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$G(ϵ,UN)=\{\begin{array}{rlr}& (1+ϵ)UN& UN\ge 0\\ & (1-ϵ)UN& UN<0\end{array}$

nella cartaStima del vantaggio:

${\widehat{UN}}_T=-E(S_T)+\underset{{\hat{R}}_T???}{\underbrace{R_T+\gamma R_{T+1}+\cdots +{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}E(S_T)}}$

Fare ${\Delta }_T=R_T+\gamma V(S_{T+1})-E(S_T)$
Ma$R_T={\Delta }_T-\gamma V(S_{T+1})+E(S_T)$

Sostituire ${\widehat{UN}}_T$ espressione

$\begin{array}{rl}{\widehat{UN}}_T& =-E(S_T)+R_T+\gamma R_{T+1}+{\gamma }^2{R}_{T+2}+\cdots +{\gamma }^{T-T}{R}_{T-2}+{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}E(S_T)\\ & =-E(S_T)+R_T+\gamma R_{T+1}+\cdots +{\gamma }^{T-T+1}{R}_{T-1}+{\gamma }^{T-T}E(S_T)\\ & =-E(S_T)+\\ & {\Delta }_T-\gamma V(S_{T+1})+E(S_T)+\\ & \gamma ({\Delta }_{T+1}-\gamma V(S_{T+2})+E(S_{T+1}))+\\ & {\gamma }^2({\Delta }_{T+2}-\gamma V(S_{T+3})+E(S_{T+1}))+\\ & \cdots +\\ & {\gamma }^{T-T}({\Delta }_{T-T}-\gamma V(S_{T-T+1})+E(S_{T-T}))+\\ & {\gamma }^{T-T+1}({\Delta }_{T-1}-\gamma V(S_T)+E(S_{T-1}))+\\ & {\gamma }^{T-T}E(S_T)\\ & ={\Delta }_T+\gamma {\Delta }_{T+1}+{\gamma }^2{\Delta }_{T+2}+\cdots +{\gamma }^{T-T}{\Delta }_{T-T}+{\gamma }^{T-T+1}{\Delta }_{T-1}\end{array}$

Il ritaglio agisce come regolarizzatore rimuovendo l’incentivo per cambiamenti drastici nella politica.iperparametri $ϵ$ Corrisponde alla distanza tra la nuova strategia e la vecchia strategia。

È ancora possibile che questo tipo di ritaglio alla fine si traduca in una nuova strategia lontana dalla vecchia strategia. Nell'implementazione qui utilizziamo un metodo particolarmente semplice:Smettila presto . Se la divergenza media KL della nuova politica rispetto alla vecchia supera una soglia, interrompiamo l'esecuzione del passo del gradiente.

Collegamento di derivazione semplice della funzione obiettivo PPO
La funzione obiettivo di PPO-Clip è:
  ~  
$L_{{\theta }_K}^{\mathrm{CLIP}}(\theta )=\underset{S,UN\sim {\theta }_K}{E}\left[\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}\right(\frac{{\pi }_{\theta }(UN|S)}{{\pi }_{{\theta }_K}(UN|S)}{UN}^{{\theta }_K}(S,UN),\mathrm{clip}(\frac{{\pi }_{\theta }(UN|S)}{{\pi }_{{\theta }_K}(UN|S)},1-ϵ,1+ϵ){UN}^{{\theta }_K}(S,UN)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{S,UN\sim {\theta }_K}{E}$
  ~  
NO.$K$ Parametri della strategia per le iterazioni${\theta }_K$， $ϵ$ è un piccolo iperparametro.
impostare$ϵ\in (0,1)$, definizione
$F(R,UN,ϵ)\doteq \mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(RUN,\mathrm{clip}(R,1-ϵ,1+ϵ)UN)$
Quando $UN\ge 0$
$\begin{array}{rl}F(R,UN,ϵ)& =\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(RUN,\mathrm{clip}(R,1-ϵ,1+ϵ)UN)\\ & =UN\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,\mathrm{clip}(R,1-ϵ,1+ϵ))\\ & =UN\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\})\\ & =UN\left\{\begin{array}{rlr}& \mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,1+ϵ)& R\ge 1+ϵ\\ & \mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,R)& R\in (1-ϵ,1+ϵ)\\ & \mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,1-ϵ)& R\le 1-ϵ\end{array}\right\}\\ & =UN\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & R& R\le 1-ϵ\end{array}\right\}Secondo\; l\text{'}intervallo\; a\; destra\\ & =UN\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(R,1+ϵ)\\ & =\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(RUN,(1+ϵ)UN)\end{array}$
  ~  
Quando $UN<0$
$\begin{array}{rl}F(R,UN,ϵ)& =\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(RUN,\mathrm{clip}(R,1-ϵ,1+ϵ)UN)\\ & =UN\mathrm{MUNX}(R,\mathrm{clip}(R,1-ϵ,1+ϵ))\\ & =UN\mathrm{massimo}(R,\left\{\begin{array}{rlr}& 1+ϵ& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\})\\ & =UN\left\{\begin{array}{rlr}& \mathrm{massimo}(R,1+ϵ)& R\ge 1+ϵ\\ & \mathrm{massimo}(R,R)& R\in (1-ϵ,1+ϵ)\\ & \mathrm{massimo}(R,1-ϵ)& R\le 1-ϵ\end{array}\right\}\\ & =UN\left\{\begin{array}{rlr}& R& R\ge 1+ϵ\\ & R& R\in (1-ϵ,1+ϵ)\\ & 1-ϵ& R\le 1-ϵ\end{array}\right\}Secondo\; l\text{'}intervallo\; a\; destra\\ & =UN\mathrm{massimo}(R,1-ϵ)\\ & =\mathrm{MiooooooooooooooooooooooN}(RUN,(1-ϵ)UN)\end{array}$
  ~  
Riassumendo: definibile$G(ϵ,UN)$
$G(ϵ,UN)=\{\begin{array}{rlr}& (1+ϵ)UN& UN\ge 0\\ & (1-ϵ)UN& UN<0\end{array}$

Perché questa definizione impedisce alla nuova strategia di allontanarsi troppo dalla vecchia strategia?
I metodi di campionamento per importanza effettiva richiedono nuove strategie ${\pi }_{\theta }(UN|S)$ e vecchie strategie${\pi }_{{\theta }_K}(UN|S)$ La differenza tra le due distribuzioni non può essere troppo grande

1. Quando il vantaggio è positivo

$L(S,UN,{\theta }_K,\theta )=\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}(\frac{{\pi }_{\theta }(UN|S)}{{\pi }_{{\theta }_K}(UN|S)},1+ϵ){UN}^{{\pi }_{{\theta }_K}}(S,UN)$
Funzione vantaggio: trova una determinata coppia stato-azione con più ricompense -&gt; aumenta il peso della coppia stato-azione.

Quando una coppia stato-azione $(S,UN)$ è positivo, allora se l'azione$UN$ ha più probabilità di essere eseguito, cioè se${\pi }_{\theta }(UN|S)$ Aumenta e l'obiettivo aumenterà.
min in questa voce limita la funzione obiettivo ad aumentare solo fino a un determinato valore
una volta${\pi }_{\theta }(UN|S)>(1+ϵ){\pi }_{{\theta }_K}(UN|S)$, trigger minimi, limitando il valore di questo elemento a $(1+ϵ){\pi }_{{\theta }_K}(UN|S)$。
la nuova politica non trae alcun vantaggio dall'allontanarsi molto dalla vecchia.
La nuova strategia non trarrà beneficio dall’abbandono della vecchia strategia.

2. Quando il vantaggio è negativo

$L(S,UN,{\theta }_K,\theta )=\mathrm{massimo}(\frac{{\pi }_{\theta }(UN|S)}{{\pi }_{{\theta }_K}(UN|S)},1-ϵ){UN}^{{\pi }_{{\theta }_K}}(S,UN)$

Quando una coppia stato-azione $(S,UN)$ Il vantaggio è negativo, quindi se l'azione$UN$ è ancora meno probabile, cioè se${\pi }_{\theta }(UN|S)$ diminuire, la funzione obiettivo aumenterà. Ma il massimo in questo termine limita quanto la funzione obiettivo può essere aumentata.
una volta${\pi }_{\theta }(UN|S)<(1-ϵ){\pi }_{{\theta }_K}(UN|S)$, trigger massimi, limitando il valore di questo elemento a $(1-ϵ){\pi }_{{\theta }_K}(UN|S)$。

Ancora una volta: la nuova politica non trae vantaggio dall’allontanarsi molto dalla vecchia politica.
La nuova strategia non trarrà beneficio dall’abbandono della vecchia strategia.

TD3_solo consecutivi: Gradiente di politica deterministica profonda ritardata dei gemelli [ICML 2018 (Canada) McGill University]

Fonte immagine

Documentazione OpenAI_TD3
Collegamento cartaceo

Anche se a volte DDPG può raggiungere prestazioni eccellenti, spesso è instabile quando si tratta di iperparametri e altri tipi di ottimizzazione.
Una modalità di errore comune del DDPG è che la funzione Q appresa inizia a sovrastimare significativamente il valore Q, causando quindi l'interruzione della policy perché sfrutta l'errore nella funzione Q.
Twin Delayed DDPG (TD3) è un algoritmo che risolve questo problema introducendo tre tecniche chiave:
1、Doppio Q-Learning troncato。

• TD3 apprende due funzioni Q invece di una (da qui la "gemella") e utilizza il più piccolo dei due valori Q per formare l'obiettivo nella funzione di perdita dell'errore Bellman.

2、Ritardo nell'aggiornamento delle norme。

• TD3 aggiorna la policy (e la rete di destinazione) meno frequentemente rispetto alla funzione Q. Il documento raccomanda di aggiornare la policy ogni volta che la funzione Q viene aggiornata due volte.

3. Perequazione della strategia target.

• TD3 aggiunge rumore all’azione target, rendendo più difficile per la politica sfruttare gli errori nella funzione Q uniformando Q attraverso i cambiamenti dell’azione.

TD3 è un algoritmo fuori policy; può essere utilizzato solo concontinuoL'ambiente dello spazio d'azione.

Pseudocodice dell'algoritmo TD3

Algoritmo: TD3
Utilizza parametri casuali${\theta }_1,{\theta }_2,\varphi$ Inizializza la rete critica$Q_{{\theta }_1},Q_{{\theta }_2}$e rete di attori ${\pi }_{\varphi }$
Inizializza la rete di destinazione${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Inizializza il set di buffer di riproduzione$\mathcal{B}$
$\mathbf{per}T=1\mathbf{A}T$ ：
       ~~~~~~       Seleziona l'azione con rumore di esplorazione $UN\sim {\pi }_{\varphi }(S)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$, ricompensa per l'osservazione $R$ e nuovo stato$S^{\prime }$
       ~~~~~~       La tupla di transizione $(S,UN,R,S^{\prime })$ depositare a$\mathcal{B}$ mezzo
       ~~~~~~       da $\mathcal{B}$ Campionamento di piccoli lotti$N$ transizioni$(S,UN,R,S^{\prime })$
$\widetilde{UN}\leftarrow {\pi }_{{\varphi }^{\prime }}(S^{\prime })+ϵ,ϵ\sim \mathrm{clip}(\mathcal{N}(0,\tilde{\sigma }),-C,C)$
$e\leftarrow R+\gamma \underset{ioooooooooooooooooooooo=1,2}{\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}}{Q}_{{\theta }_{ioooooooooooooooooooooo}^{\prime }}(S^{\prime },\widetilde{UN})$
       ~~~~~~       Aggiorna critici ${\theta }_{ioooooooooooooooooooooo}\leftarrow \mathrm{essoG}\underset{{\theta }_{ioooooooooooooooooooooo}}{\mathrm{minimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimoimo}}{N}^{-1}\sum (e-Q_{{\theta }_{ioooooooooooooooooooooo}}(S,UN){)}^2$
       ~~~~~~        $\mathbf{Se}T\%D$：
            ~~~~~~~~~~~            Aggiornamento tramite gradiente di politica deterministica $\varphi$
${\nabla }_{\varphi }J(\varphi )=N^{-1}\sum {\nabla }_{UN}{Q}_{{\theta }_1}(S,UN){|}_{UN={\pi }_{\varphi }(S)}{\nabla }_{\varphi }{\pi }_{\varphi }(S)$
            ~~~~~~~~~~~            Aggiorna rete di destinazione:
${\theta }_{ioooooooooooooooooooooo}^{\prime }\leftarrow \tau {\theta }_{ioooooooooooooooooooooo}+(1-\tau ){\theta }_{ioooooooooooooooooooooo}^{\prime }$$\tau$: Frequenza di aggiornamento target
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{FINE}\mathbf{Se}$
$\mathbf{FINE}\mathbf{per}$

Soft attore-critico: SAC_Continuous/Discrete Action Space [Google Brain ultima versione 201906]

Fonte immagine

Massimizzare l’entropia della politica, rendendola così più solida.

strategia deterministica Vuol dire che, a parità di stato, si sceglie sempre la stessa azione
strategia della casualità Significa che ci sono molte azioni possibili che possono essere selezionate in un dato stato.

Nell'applicazione effettiva, se le condizioni lo consentono, lo faremoProva ad usarestrategia della casualità, come A2C, PPO, ecc., perché è più flessibile, più robusto e più stabile.

L’apprendimento per rinforzo dell’entropia massima ritiene che, anche se attualmente disponiamo di strategie di casualità mature, vale a dire algoritmi come AC, non abbiamo ancora raggiunto la casualità ottimale.Pertanto, introduce l'aentropia informativaconcetto, dentroMassimizzare la ricompensa cumulativa massimizzando l’entropia della politica, rendendo la strategia più robusta e ottenendo la strategia di casualità ottimale.

——————————————————

—— Documentazione OpenAI_SAC

Collegamento all'interfaccia OpenAI Documentation_SAC
  ~  
Soft Actor-Critic: apprendimento di rinforzo profondo con entropia massima fuori politica con un attore stocastico, Haarnoja et al, 201808 ICML 2018
Algoritmi e applicazioni soft Actor-Critic, Haarnoja e altri, 201901
Imparare a camminare tramite apprendimento con rinforzo profondo, Haarnoja et al, 201906 RSS2019

Soft Actor Critic (SAC) ottimizza le strategie casuali in modo fuori policy.

DDPG + ottimizzazione della strategia stocastica

Non è un successore diretto di TD3 (rilasciato più o meno nello stesso periodo).

Incorpora il trucco della doppia Q ritagliata e, a causa della casualità intrinseca della strategia di SAC, alla fine beneficia anche dilivellamento della politica degli obiettivi。

Una caratteristica fondamentale di SAC è regolarizzazione entropica regolarizzazione entropica。
La politica è addestrata a massimizzare il compromesso tra ricompensa attesa ed entropia,L’entropia è una misura della casualità di una politica。
Ciò è strettamente correlato al compromesso tra esplorazione e sfruttamento: porta ad un aumento dell’entropiaAltro da esplorare,Questo va beneAccelerare l'apprendimento successivo .va beneEvitare che la politica converga prematuramente verso un cattivo ottimo locale。

Può essere utilizzato sia nello spazio di azione continua che nello spazio di azione discreta.

esistere Apprendimento per rinforzo regolarizzato entro l'entropia, l'agente ottiene eL’entropia della politica in questo momentoPremi proporzionali.
In questo momento il problema RL è descritto come:

${\pi }^{\ast }=\mathrm{essoG}\underset{\pi }{\mathrm{massimo}}\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,{UN}_T,S_{T+1})+\alpha H(\pi (\cdot |S_T)))]$

In $\alpha >0$ è il coefficiente di trade-off.
Funzione del valore dello stato che include la ricompensa entropica in ogni fase temporale$E^{\pi }$ per:

$E^{\pi }(S)=\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,{UN}_T,S_{T+1})+\alpha H(\pi (\cdot |S_T)))|S_0=S]$

Una funzione del valore dell'azione che include la ricompensa entropica per ogni passaggio temporale tranne il primo $Q^{\pi }$:

$Q^{\pi }(S,UN)=\underset{\tau \sim \pi }{E}\left[\sum _{T=0}^{\infty }{\gamma }^T\right(R(S_T,{UN}_T,S_{T+1})+\alpha \sum _{T=1}^{\infty }H(\pi (\cdot |S_T)))|S_0=S,{UN}_0=UN]$

• alcuni documenti $Q^{\pi }$ Contiene la ricompensa entropica per la prima fase temporale

$E^{\pi }$ E$Q^{\pi }$ La relazione tra è:

$E^{\pi }(S)=\underset{UN\sim \pi }{E}[Q^{\pi }(S,UN)]+\alpha H(\pi (\cdot |S))$

Di $Q^{\pi }$ La formula di Bellman è:

$\begin{array}{rl}{Q}^{\pi }(S,UN)& =\underset{\genfrac{}{}{0ex}{}{S^{\prime }\sim P}{{UN}^{\prime }\sim \pi }}{E}[R(S,UN,S^{\prime })+\gamma (Q^{\pi }(S^{\prime },{UN}^{\prime })+\alpha H(\pi (\cdot |S^{\prime })))]\\ & =\underset{S^{\prime }\sim P}{E}[R(S,UN,S^{\prime })+\gamma E^{\pi }(S^{\prime })]\end{array}$

Il SAC apprende una politica simultaneamente ${\pi }_{\theta }$ e due$Q$ funzione$Q_{{\varphi }_1},Q_{{\varphi }_2}$。
Attualmente esistono due varianti del SAC standard: una utilizza un sistema fissoCoefficiente di regolarizzazione dell'entropia $\alpha$, un altro cambiando durante l'allenamento $\alpha$ imporre vincoli di entropia.
La documentazione di OpenAI utilizza una versione con un coefficiente di regolarizzazione dell'entropia fisso, ma in pratica è spesso preferitavincolo di entropiavariante.

Come mostrato di seguito, in $\alpha$ Nella versione fissa, ad eccezione dell'ultima immagine che presenta evidenti vantaggi, le altre presentano solo lievi vantaggi, sostanzialmente uguali a$\alpha$ La versione di apprendimento rimane la stessa;$\alpha$ Le due immagini centrali in cui la versione di apprendimento presenta vantaggi sono più evidenti.

Fonte immagine

SAC CONTROTD3:
  ~  
Stesso punto:
1. Entrambe le funzioni Q vengono apprese riducendo al minimo l'MSBE (errore medio quadratico di Bellman) mediante regressione a un singolo obiettivo condiviso.
2. Utilizzare la rete Q target per calcolare il target condiviso ed eseguire la media del polyak sui parametri della rete Q durante il processo di addestramento per ottenere la rete Q target.
3. Il bersaglio condiviso utilizza la tecnica della doppia Q troncata.
  ~  
differenza:
1. SAC contiene il termine di regolarizzazione dell'entropia
2. Da dove viene la prossima azione statale utilizzata nell'obiettivo SACStrategia attuale, piuttosto che la strategia target.
3. Non esiste una strategia obiettivo chiara per lo livellamento. TD3 addestra una politica deterministica passando allo stato successivoAggiungi rumore casuale per ottenere la morbidezza. Il SAC adotta una politica casuale e il rumore derivante dalla casualità è sufficiente per ottenere effetti simili.

Pseudocodice dell'algoritmo SAC

Algoritmo: Soft Attore-Critico SAC
accedere:${\theta }_1,{\theta }_2,\varphi$ Parametri di inizializzazione
Inizializzazione dei parametri:
       ~~~~~~       Inizializza i pesi della rete target:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Il pool di riproduzione viene inizializzato per essere vuoto:$\mathcal{D}\leftarrow \varnothing$
$\mathbf{per}$ ogni iterazione$\mathbf{Fare}$ ：
       ~~~~~~       $\mathbf{per}$ Ogni passaggio dell'ambiente$\mathbf{Fare}$ ：
            ~~~~~~~~~~~            Azioni di esempio da una policy: ${UN}_T\sim {\pi }_{\varphi }({UN}_T|S_T)$ ▢Qui ${\pi }_{\varphi }({UN}_T|S_T)$ Come definire?
            ~~~~~~~~~~~            Transizioni di esempio dall'ambiente:$S_{T+1}\sim P(S_{T+1}|S_T,{UN}_T)$
            ~~~~~~~~~~~            Salva la transizione nel pool di riproduzione: $\mathcal{D}\leftarrow \mathcal{D}\cup \{(S_T,{UN}_T,R(S_T,{UN}_T),S_{T+1})\}$
       ~~~~~~       $\mathbf{FINE}\mathbf{per}$
       ~~~~~~       $\mathbf{per}$ Ogni passaggio del gradiente$\mathbf{Fare}$ ：
            ~~~~~~~~~~~            rinnovare $Q$ Parametri di funzione: per io ∈ { 1 , 2 } io in{1,2}ioooooooooooooooooooooo∈{1,2}，${\theta }_{ioooooooooooooooooooooo}\leftarrow {\theta }_{ioooooooooooooooooooooo}-{\lambda }_Q{\hat{\nabla }}_{{\theta }_{ioooooooooooooooooooooo}}{J}_Q({\theta }_{ioooooooooooooooooooooo})$ ▢Qui $J_Q({\theta }_{ioooooooooooooooooooooo})$ Come definire?
            ~~~~~~~~~~~            Aggiorna i pesi della strategia: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢Qui $J_{\pi }(\varphi )$ Come definire?
            ~~~~~~~~~~~            Regolare la temperatura: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢Qui $J(\alpha )$ Come definire?Come capire la temperatura qui?
            ~~~~~~~~~~~             Aggiorna i pesi della rete target: per io ∈ { 1 , 2 } io in{1,2}ioooooooooooooooooooooo∈{1,2}，${\bar{\theta }}_{ioooooooooooooooooooooo}\leftarrow \tau {\theta }_{ioooooooooooooooooooooo}-(1-\tau ){\bar{\theta }}_{ioooooooooooooooooooooo}$ ▢ Come capirlo $\tau$ ? ——&gt;Coefficiente di livellamento target
       ~~~~~~       $\mathbf{FINE}\mathbf{per}$
$\mathbf{FINE}\mathbf{per}$
Produzione:${\theta }_1,{\theta }_1,\varphi$Parametri ottimizzati

$\hat{\nabla }$: gradiente stocastico

$emptyset$$\varnothing$

Imparare a camminare tramite apprendimento con rinforzo profondo Versione in:
  ~  

$\alpha$ è il parametro della temperatura, che determina l'importanza relativa del termine entropia e della ricompensa, controllando così la casualità della strategia ottimale.
$\alpha$ Grande: esplora
$\alpha$ Piccolo: sfruttare

$J(\alpha )=\underset{{UN}_T\sim {\pi }_T}{\mathbb{E}}[-\alpha \mathrm{IoG}{\pi }_T({UN}_T|S_T)-\alpha \bar{\mathcal{H}}]$