Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl PDF-versio huomautus organisaatio P5, P10 - P12
• joyrl vertailuliite P11-P13
• OpenAI-dokumenttien organisaatio ⭐ https://spinningup.openai.com/en/latest/index.html

Lataa uusin versio PDF
Osoite: https://github.com/datawhalechina/easy-rl/releases
Kotimainen osoite (suositellaan kotimaisille lukijoille)：
Linkki: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Purkukoodi: us6a

easy-rl-verkkoversion linkki (koodin kopiointia varten)
Viitelinkki 2: https://datawhalechina.github.io/joyrl-book/

muu:
[Virheellinen tietueen linkki]
——————
5. Syvävahvistusoppimisen perusteet ⭐️
Avoimen lähdekoodin sisältö: https://linklearner.com/learn/summary/11
——————————

Kuvan lähde

Proksimaalinen käytännön optimointi (PPO)

Sama strategia: Opittava agentti ja ympäristön kanssa vuorovaikutuksessa oleva agentti ovat samat.
Heterogeeniset strategiat: oppimisagentti ja ympäristön kanssa vuorovaikutuksessa oleva agentti ovat erilaisia

Käytännön gradientti: Tiedon näytteenotto vaatii paljon aikaa

sama strategia $\stackrel{tärkeysnäytteenotto}{⟹}$ erilaisia ​​strategioita

PPO: Vältä kahta jakelua, jotka eroavat liikaa. sama strategia-algoritmi
1. Alkuperäiset optimointikohteet$J(\theta ,{\theta }^{\prime })$
2. Rajoituskohteet:$\theta$ ja${\theta }^{\prime }$ Lähtötoiminnon KL-divergentti ($\theta$ ja${\theta }^{\prime }$ Mitä samankaltaisempi, sen parempi)

PPO:lla on edeltäjä: luottamusalueen politiikan optimointi (TRPO)
TRPO:ta on vaikea käsitellä, koska se käsittelee KL-hajoamisrajoitetta lisärajoitteena eikä sitä sijoiteta tavoitefunktioon, joten sitä on vaikea laskea. Siksi käytämme yleensä PPO:ta TRPO:n sijaan. PPO:n ja TRPO:n suorituskyky on samanlainen, mutta PPO on paljon helpompi toteuttaa kuin TRPO.

KL:n ero: toimintaetäisyys.Toiminnon suorittamisen todennäköisyysjakauma etäisyys.

PPO-algoritmista on kaksi pääversiota: proksimaalinen politiikan optimointirangaistus (PPO-rangaistus) ja proksimaalinen politiikan optimointileikkaus (PPO-leike).

——————————
P10 Harva palkitsemisongelma
1. Suunnittele palkintoja. Edellyttää verkkotunnuksen tuntemusta
Entäpä viimeisen palkinnon myöntäminen kullekin asiaankuuluvalle toiminnolle?

2. Uteliaisuus
Intrinsic Curiosity Module (ICM)
tulla sisään:$a_t,s_t$
Lähtö:${\hat{s}}_{t+1}$
Verkon ennustettu arvo${\hat{s}}_{t+1}$ todellisella arvolla$s_{t+1}$ Mitä erilaisempia ne ovat, sitä$r_t^i$ Isompi

$r_t^i$ : Mitä vaikeampi tulevaisuuden tila on ennustaa, sitä suurempi on palkkio toiminnasta. Kannusta seikkailuun ja tutkimiseen.

• Indikaattori on liian yksittäinen, ja saatat oppia vain hyödyttömiä asioita.

ominaisuuspoisto

Verkko 2:
Syöttö: vektori$\mathbf{\varphi }(s_t)$ ja$\mathbf{\varphi }(s_{t+1})$

Ennusta toimintaa $\hat{a}$ Mitä lähempänä todellista toimintaa, sen parempi.

3. Kurssiopiskelu

Helppoa -> vaikeaa

Käänteinen opetussuunnitelman oppiminen:
Aloita viimeisestä ihanteellisimmasta tilasta [kutsumme sitä kultatilaksi], siirry kohtaanEtsi kultaista tilaa lähinnä oleva tila Lavastettuna "ideaalitilana", jonka haluat agentin saavuttavan. Tietysti poistamme tässä prosessissa tarkoituksella joitain äärimmäisiä tiloja, eli tiloja, jotka ovat liian helppoja tai liian vaikeita.

4. Hierarkkinen vahvistusoppiminen (HRL)
Agentin strategia on jaettu korkean tason strategioihin ja matalan tason strategioihin. Korkean tason strategia määrittää, kuinka matalan tason strategia toteutetaan nykytilan perusteella.

————————
P11 Jäljitelmäoppiminen
En ole varma palkintokohtauksesta

Jäljitelmäoppiminen (IL)
oppia esittelystä
Oppisopimuskoulutus
oppia katsomalla

On selvät palkinnot: lautapelit, videopelit
Ei pysty antamaan selkeitä palkintoja: chatbot

Kerää asiantuntijaesittelyjä: ihmisten ajohistoriaa, ihmisten keskusteluja

Käänteisesti, millaisen palkitsemistoiminnon asiantuntija tekee nämä toimet?
Käänteinen vahvistusoppiminen onEtsi ensin palkitsemistoiminto, kun olet löytänyt palkitsemistoiminnon, käytä vahvistusoppimista löytääksesi optimaalisen toimijan.

Kolmannen persoonan jäljitelmäoppimistekniikka

————————
P12 Deep deterministic Policy Gradient (DDPG)

Käytä kokemustoistostrategiaa

Ablaatiokoe [Controlled Variable Method] -analyysijokainen rajoitusvaikutus taistelun lopputulokseen.

---

iloinen:

DDPG_jatkuva

tarpeessavarmuuttastrategia jajatkuvaa toimintaaAvaruuden lähtökohtana tämän tyyppinen algoritmi on suhteellisen vakaa perusalgoritmi.

DQN jatkuviin toimintatiloihin

Deep deterministic Policy Gradient Algorithm (DDPG)

Kokemustoistomekanismi voi vähentää näytteiden välistä korrelaatiota, parantaa näytteiden tehokasta hyödyntämistä ja lisätä harjoituksen vakautta.

puute:
1. Ei voida käyttää erillisessä toimintatilassa
2、Riippuu suuresti hyperparametreistä
3. Erittäin herkät alkuolosuhteet. Vaikuttaa algoritmin konvergenssiin ja suorituskykyyn
4. On helppo pudota paikalliseen optimiin.

• Deterministisen strategian käyttöönoton vuoksi algoritmi voi pudota paikalliseen optimiin ja vaikeuttaa globaalin optimistrategian löytämistä. Tutkittavuuden lisäämiseksi on ryhdyttävä joihinkin toimenpiteisiin, kuten melustrategioiden lisääminen tai muiden tutkimusmenetelmien käyttö.

Pehmeän päivityksen etuna on, että se on pehmeämpi ja hitaampi, mikä voi välttää liian nopeiden painopäivitysten aiheuttamia iskuja ja vähentää harjoitteluerojen riskiä.

Kaksinkertainen viivästetty deterministinen politiikan gradienttialgoritmi (kaksoisviivästetty DDPG, TD3)

Kaksinkertaisen viiveen deterministinen politiikan gradienttialgoritmi

Kolme parannusta: Double Q -verkko, viivästynyt päivitys, kohinan tasaus
Double Q Network : Kaksi Q-verkkoa, valitse se, jolla on pienempi Q-arvo. Käsitellä Q-arvon yliarviointiongelmaa ja parantaa algoritmin vakautta ja konvergenssia.

Viivästetty päivitys: Anna näyttelijän päivitystiheyden olla pienempi kuin kriitikon päivitystiheys

• Harkita tarkoin

Melu on enemmän kuin aLaillistaminentavalla jokaarvofunktion päivityslisääsileä

OpenAI Gym Library_Pendulum_TD3

OpenAI-dokumentin käyttöliittymälinkki TD3:sta

TD3 paperi PDF-linkki

PPO_Continuous/Discrete Action Space [OpenAI 201708]

Yleisimmin käytetty PPO-algoritmi vahvistusoppimisessa
Diskreetti + jatkuva
Nopea ja vakaa, helposti säädettävät parametrit
perusalgoritmi

Päättämätön PPO

Käytännössä leikerajoituksia käytetään yleensä, koska se on yksinkertaisempi, sen laskentakustannukset ovat alhaisemmat ja sillä on parempia tuloksia.

Poliisin vastainen algoritmi voihyödyntää historiallista kokemusta, käytä yleensä kokemuksen toistoa aiemman kokemuksen tallentamiseen ja uudelleenkäyttöön,Tiedon hyötysuhde on korkea。

PPO on politiikan mukainen algoritmi

• Vaikka tärkeysnäytteenotto-osuudessa käytetään näytteitä vanhasta näyttelijänäytteestä, meNäitä näytteitä ei käytetä suoraan strategian päivittämiseen. , sen sijaan tärkeysnäytteenottoa käytetään korjaamaan ensin eri datajakaumien aiheuttamat virheet, vaikka näiden kahden näytejakauman eroa pienennetään mahdollisimman paljon.Toisin sanoen voidaan ymmärtää, että vaikka tärkeysnäytteenoton jälkeiset näytteet saadaan otantamalla vanhalla strategialla, ne voivatSaatu suunnilleen päivitetystä käytännöstä, eli toimija, jonka haluamme optimoida, ja näyttelijä, jonka näytämme, ovat samat.

——————————————————

-- OpenAI Documentation_PPO

OpenAI-dokumentaatio
Paperinen arXiv-käyttöliittymälinkki: Proksimaalisen politiikan optimointialgoritmit

PPO: politiikkaan perustuva algoritmi, joka sopii erillisiin tai jatkuviin toimintatiloihin.Mahdollinen paikallinen optimi

PPO:n motiivi on sama kuin TRPO:n: kuinka hyödyntää olemassa olevaa dataaOta strategiasi suurin mahdollinen parannusaskel, muuttamatta sitä liikaa ja aiheuttamatta vahingossa suorituskyvyn kaatumista?
TRPO yrittää ratkaista tämän ongelman hienostuneella toisen asteen lähestymistavalla, kun taas PPO on ensimmäisen asteen lähestymistapa, joka käyttää joitain muita temppuja pitääkseen uuden strategian lähellä vanhaa.
PPO-menetelmä on paljon yksinkertaisempi toteuttaa, ja se toimii empiirisesti vähintään yhtä hyvin kuin TRPO.

PPO:sta on kaksi päämuunnelmaa: PPO-Penalty ja PPO-Clip.

• PPO-Penalty ratkaisee suunnilleen KL-rajoitteiden päivitykset, kuten TRPO:n, mutta rankaisee KL-poikkeamista tavoitefunktiossa sen sijaan, että tekisi siitä kovan rajoituksen, ja säätää rangaistuskertoimen automaattisesti harjoituksen aikana niin, että se skaalautuu asianmukaisesti.
• PPO-Clipillä ei ole KL-eroja eikä rajoituksia tavoitefunktiossa. Sen sijaan se luottaa tavoitefunktion erityiseen räätälöintiin poistaakseen uuden strategian kannustimen siirtyä pois vanhasta strategiasta.
  PPO-Clip (OpenAl:n käyttämä pääversio).

PPO-Clip-algoritmin pseudokoodi

Algoritmi: PPO-Clip
1: Syöte: strategian alkuparametrit${\theta }_0$, alkuarvofunktion parametrit ${\varphi }_0$
2：$\mathbf{varten}k=0,1,2,\dots \mathbf{tehdä}$：
3：        ~~~~~~       Ajamalla politiikkaa ympäristössä ${\pi }_k=\pi ({\theta }_k)$ Kerää lentorata asetettu D k = { τ i } {cal D}_k={tau_i}Dk​={τi​}
4：        ~~~~~~       Laske palkinnot (menettävä palkinto) ${\hat{R}}_t$ ▢ ${\hat{R}}_t$ laskentasäännöt
5：        ~~~~~~       Laske hyötyarvio nykyisen arvon funktion perusteella $V_{{\varphi }_k}$ /${\hat{A}}_t$ (Käytä mitä tahansa määräävän aseman arviointimenetelmää)       ~~~~~       ▢ Mitkä ovat nykyiset hyötyjen arviointimenetelmät?
6：        ~~~~~~       Päivitä käytäntö maksimoimalla PPO-Clip-tavoitefunktio:
            ~~~~~~~~~~~            
${\theta }_{k+1}=\arg \underset{\theta }{\max }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T\min (\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_k}(a_t|s_t)}{A}^{{\pi }_{{\theta }_k}}(s_t,a_t),g(ϵ,A^{{\pi }_{{\theta }_k}}(s_t,a_t)))$       ~~~~~       ▢ Miten määritellään strategian päivityskaava?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_k}$ : Strategian parametrivektori ennen päivitystä. Tärkeyden otanta. Näytteenotto vanhoista strategioista.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Yleinen stokastinen gradienttinousu + Adam
7：        ~~~~~~       keskimääräinen neliövirheregression sovitettu arvofunktio:
            ~~~~~~~~~~~            
${\varphi }_{k+1}=\arg \underset{\varphi }{\min }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T(V_{\varphi }(s_t)-{\hat{R}}_t{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Yleinen kaltevuuslasku
8：$\mathbf{loppu}\mathbf{varten}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$g(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

lehdessäEtuarvio:

${\hat{A}}_t=-V(s_t)+\underset{{\hat{R}}_t???}{\underbrace{r_t+\gamma r_{t+1}+\cdots +{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}V(s_T)}}$

tehdä ${\Delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$
mutta$r_t={\Delta }_t-\gamma V(s_{t+1})+V(s_t)$

Korvaava ${\hat{A}}_t$ ilmaisu

$\begin{array}{rl}{\hat{A}}_t& =-V(s_t)+r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+\cdots +{\gamma }^{T-t}{r}_{T-2}+{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}V(s_T)\\ & =-V(s_t)+r_t+\gamma r_{t+1}+\cdots +{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}V(s_T)\\ & =-V(s_t)+\\ & {\Delta }_t-\gamma V(s_{t+1})+V(s_t)+\\ & \gamma ({\Delta }_{t+1}-\gamma V(s_{t+2})+V(s_{t+1}))+\\ & {\gamma }^2({\Delta }_{t+2}-\gamma V(s_{t+3})+V(s_{t+1}))+\\ & \cdots +\\ & {\gamma }^{T-t}({\Delta }_{T-t}-\gamma V(s_{T-t+1})+V(s_{T-t}))+\\ & {\gamma }^{T-t+1}({\Delta }_{T-1}-\gamma V(s_T)+V(s_{T-1}))+\\ & {\gamma }^{T-t}V(s_T)\\ & ={\Delta }_t+\gamma {\Delta }_{t+1}+{\gamma }^2{\Delta }_{t+2}+\cdots +{\gamma }^{T-t}{\Delta }_{T-t}+{\gamma }^{T-t+1}{\Delta }_{T-1}\end{array}$

Leikkaaminen toimii laillistajana poistamalla kannustimen radikaaleihin politiikan muutoksiin.hyperparametrit $ϵ$ Vastaa uuden ja vanhan strategian välistä etäisyyttä。

On silti mahdollista, että tällainen leikkaus johtaa lopulta uuteen strategiaan, joka on kaukana vanhasta strategiasta. Tässä toteutuksessa käytämme erityisen yksinkertaista menetelmää:Lopeta aikaisin . Jos uuden käytännön keskimääräinen KL-poikkeama vanhasta käytännöstä ylittää kynnyksen, lopetamme gradienttivaiheen suorittamisen.

PPO:n tavoitefunktion yksinkertainen johdannaislinkki
PPO-Clipin tavoitefunktio on:
  ~  
$L_{{\theta }_k}^{\mathrm{CLIP}}(\theta )=\underset{s,a\sim {\theta }_k}{E}\left[\min \right(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)}{A}^{{\theta }_k}(s,a),\mathrm{leike}(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)},1-ϵ,1+ϵ)A^{{\theta }_k}(s,a)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{s,a\sim {\theta }_k}{E}$
  ~  
Ei.$k$ Iteraatioiden strategiaparametrit${\theta }_k$， $ϵ$ on pieni hyperparametri.
perustaa$ϵ\in (0,1)$, määritelmä
$F(r,A,ϵ)\doteq \min (rA,\mathrm{leike}(r,1-ϵ,1+ϵ)A)$
kun $A\ge 0$
$\begin{array}{rl}F(r,A,ϵ)& =\min (rA,\mathrm{leike}(r,1-ϵ,1+ϵ)A)\\ & =A\min (r,\mathrm{leike}(r,1-ϵ,1+ϵ))\\ & =A\min (r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \min (r,1+ϵ)& r\ge 1+ϵ\\ & \min (r,r)& r\in (1-ϵ,1+ϵ)\\ & \min (r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & r& r\le 1-ϵ\end{array}\right\}Oikean\; alueen\; mukaan\\ & =A\min (r,1+ϵ)\\ & =\min (rA,(1+ϵ)A)\end{array}$
  ~  
kun $A<0$
$\begin{array}{rl}F(r,A,ϵ)& =\min (rA,\mathrm{leike}(r,1-ϵ,1+ϵ)A)\\ & =A\max (r,\mathrm{leike}(r,1-ϵ,1+ϵ))\\ & =A\max (r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \max (r,1+ϵ)& r\ge 1+ϵ\\ & \max (r,r)& r\in (1-ϵ,1+ϵ)\\ & \max (r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& r& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\}Oikean\; alueen\; mukaan\\ & =A\max (r,1-ϵ)\\ & =\min (rA,(1-ϵ)A)\end{array}$
  ~  
Yhteenvetona: määriteltävissä$g(ϵ,A)$
$g(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

Miksi tämä määritelmä estää uutta strategiaa poikkeamasta liian kauas vanhasta strategiasta?
Tehokkaat tärkeysnäytteenottomenetelmät vaativat uusia strategioita ${\pi }_{\theta }(a|s)$ ja vanhoja strategioita${\pi }_{{\theta }_k}(a|s)$ Ero näiden kahden jakauman välillä ei voi olla liian suuri

1. Kun etu on positiivinen

$L(s,a,{\theta }_k,\theta )=\min (\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)},1+ϵ)A^{{\pi }_{{\theta }_k}}(s,a)$
Etutoiminto: Etsi tietty tila-toiminto-pari, jolla on enemmän palkintoja -&gt; lisää tila-toiminto-parin painoa.

Kun tila-toiminta-pari $(s,a)$ on positiivinen, sitten jos toiminta$a$ on todennäköisemmin teloitettu, eli jos${\pi }_{\theta }(a|s)$ Kasvata ja tavoite kasvaa.
min tässä kohdassa rajoittaa tavoitefunktion kasvamaan vain tiettyyn arvoon
kerran${\pi }_{\theta }(a|s)>(1+ϵ){\pi }_{{\theta }_k}(a|s)$, min triggers, rajoittaen tämän kohteen arvoon $(1+ϵ){\pi }_{{\theta }_k}(a|s)$。
uusi politiikka ei hyödy poistumalla kauas vanhasta politiikasta.
Uusi strategia ei hyödy vanhasta strategiasta luopumisesta.

2. Kun etu on negatiivinen

$L(s,a,{\theta }_k,\theta )=\max (\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)},1-ϵ)A^{{\pi }_{{\theta }_k}}(s,a)$

Kun tila-toiminta-pari $(s,a)$ Etu on negatiivinen, sitten jos toiminta$a$ on vielä epätodennäköisempää, eli jos${\pi }_{\theta }(a|s)$ pienenee, tavoitefunktio kasvaa. Mutta tämän termin maksimiarvo rajoittaa sitä, kuinka paljon tavoitefunktiota voidaan lisätä.
kerran${\pi }_{\theta }(a|s)<(1-ϵ){\pi }_{{\theta }_k}(a|s)$, max triggers, rajoittaa tämän kohteen arvoon $(1-ϵ){\pi }_{{\theta }_k}(a|s)$。

Jälleen: uusi politiikka ei hyödy siitä, että mennään kauas vanhasta politiikasta.
Uusi strategia ei hyödy vanhasta strategiasta luopumisesta.

TD3_vain peräkkäin: Twin Delayed Deep Deterministic Policy Gradient [ICML 2018 (Kanada) McGill University]

Kuvan lähde

OpenAI Documentation_TD3
Paperinen linkki

Vaikka DDPG voi joskus saavuttaa erinomaisen suorituskyvyn, se on usein epävakaa hyperparametrien ja muun tyyppisen virityksen suhteen.
Yleinen DDPG-virhetila on, että opittu Q-funktio alkaa merkittävästi yliarvioida Q-arvoa, mikä saa sitten politiikan rikkoutumaan, koska se käyttää hyväkseen Q-funktion virhettä.
Twin Delayed DDPG (TD3) on algoritmi, joka ratkaisee tämän ongelman ottamalla käyttöön kolme avaintekniikkaa:
1、Typistetty Double Q-Learning。

• TD3 oppii kaksi Q-funktiota yhden sijasta (siis "twin") ja käyttää pienempää kahdesta Q-arvosta muodostaakseen kohteen Bellmanin virhehäviöfunktiossa.

2、Käytännön päivityksen viive。

• TD3 päivittää käytäntöä (ja kohdeverkkoa) harvemmin kuin Q-toiminto. Paperi suosittelee käytännön päivittämistä aina, kun Q-funktio päivitetään kahdesti.

3. Tavoitestrategian tasoitus.

• TD3 lisää kohinaa kohdetoimintoon, mikä tekee käytännöstä vaikeampaa hyödyntää Q-funktion virheitä tasoittamalla Q:ta toimintomuutosten välillä.

TD3 on politiikan vastainen algoritmi, jonka kanssa sitä voidaan käyttääjatkuvaToimintatilan ympäristö.

TD3-algoritmin pseudokoodi

Algoritmi: TD3
Käytä satunnaisia ​​parametreja${\theta }_1,{\theta }_2,\varphi$ Alusta kriitikkoverkosto$K_{{\theta }_1},K_{{\theta }_2}$ja näyttelijäverkosto ${\pi }_{\varphi }$
Alusta kohdeverkko${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Alusta toistopuskurisarja$\mathcal{B}$
$\mathbf{varten}t=1\mathbf{kohtaan}T$ ：
       ~~~~~~       Valitse toiminta, jossa on tutkimuskohinaa $a\sim {\pi }_{\varphi }(s)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$, havaintopalkkio $r$ ja uusi tila$s^{\prime }$
       ~~~~~~       Siirtymä monikko $(s,a,r,s^{\prime })$ tallettaa$\mathcal{B}$ keskellä
       ~~~~~~       alkaen $\mathcal{B}$ Näytteenotto pienissä erissä$N$ siirtymät$(s,a,r,s^{\prime })$
$\tilde{a}\leftarrow {\pi }_{{\varphi }^{\prime }}(s^{\prime })+ϵ,ϵ\sim \mathrm{leike}(\mathcal{N}(0,\tilde{\sigma }),-c,c)$
$y\leftarrow r+\gamma \underset{i=1,2}{\min }{K}_{{\theta }_i^{\prime }}(s^{\prime },\tilde{a})$
       ~~~~~~       Päivitä kriitikot ${\theta }_i\leftarrow \arg \underset{{\theta }_i}{\min }{N}^{-1}\sum (y-K_{{\theta }_i}(s,a){)}^2$
       ~~~~~~        $\mathbf{jos}t\%d$：
            ~~~~~~~~~~~            Päivitä deterministisen käytäntögradientin kautta $\varphi$
${\nabla }_{\varphi }J(\varphi )=N^{-1}\sum {\nabla }_a{K}_{{\theta }_1}(s,a){|}_{a={\pi }_{\varphi }(s)}{\nabla }_{\varphi }{\pi }_{\varphi }(s)$
            ~~~~~~~~~~~            Päivitä kohdeverkko:
${\theta }_i^{\prime }\leftarrow \tau {\theta }_i+(1-\tau ){\theta }_i^{\prime }$$\tau$: Päivitystavoite
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{loppu}\mathbf{jos}$
$\mathbf{loppu}\mathbf{varten}$

Pehmeä näyttelijä-kriitikko: SAC_Continuous/Discrete Action Space [Google Brainin uusin versio 201906]

Kuvan lähde

Maksimoi politiikan entropia, mikä tekee politiikasta kestävämmän.

deterministinen strategia Se tarkoittaa, että samassa tilassa valitse aina sama toiminta
satunnaisuusstrategia Se tarkoittaa, että tietyssä tilassa voidaan valita monia mahdollisia toimintoja.

Varsinaisessa sovelluksessa, jos olosuhteet sen sallivat, teemmeYritä käyttääsatunnaisuusstrategia, kuten A2C, PPO jne., koska se on joustavampi, kestävämpi ja vakaampi.

Maksimientropian vahvistusoppiminen uskoo, että vaikka meillä on tällä hetkellä kypsiä satunnaisuusstrategioita, nimittäin algoritmeja, kuten AC, emme silti ole saavuttaneet optimaalista satunnaisuutta.Siksi se esittelee atiedon entropiakonsepti, sisäänMaksimoi kumulatiivinen palkkio samalla kun maksimoi politiikan entropia, mikä tekee strategiasta vankemman ja saavuttaa optimaalisen satunnaisuusstrategian.

——————————————————

-- OpenAI Documentation_SAC

OpenAI Documentation_SAC Interface Link
  ~  
Pehmeä näyttelijäkriitikko: politiikan ulkopuolinen maksimientropia, syvä vahvistus stokastisen näyttelijän kanssa, Haarnoja et al, 201808 ICML 2018
Pehmeät näyttelijäkritiikit algoritmit ja sovellukset, Haarnoja et al, 201901
Kävelemisen oppiminen syvän vahvistusopetuksen avulla, Haarnoja et al, 201906 RSS2019

Soft Actor Critic (SAC) optimoi satunnaiset strategiat politiikan vastaisella tavalla.

DDPG + stokastinen strategian optimointi

Ei suora TD3:n seuraaja (julkaistu suunnilleen samaan aikaan).

Se sisältää leikatun kaksois-Q-tempun, ja SAC:n strategian luontaisen satunnaisuuden vuoksi se hyötyy myös viime kädessätavoitepolitiikan tasoitus。

SAC:n ydinominaisuus on entropian regularisointi entropian regularisointi。
Käytäntö on koulutettu maksimoimaan odotetun palkkion ja entropian välinen kompromissi,Entropia on politiikan satunnaisuuden mitta。
Tämä liittyy läheisesti etsinnän ja hyödyntämisen väliseen kompromissiin: entropian kasvu johtaaLisää tutkittavaa,Tämä on okNopeuta myöhempää oppimista .Se on okeiEstä politiikkaa siirtymästä ennenaikaisesti huonoon paikalliseen optimiin。

Sitä voidaan käyttää sekä jatkuvassa toimintatilassa että diskreetissä toimintatilassa.

olla olemassa Entropialla säännelty vahvistusoppiminen, agentti saa jaPolitiikan entropia tässä vaiheessaSuhteelliset palkinnot.
Tällä hetkellä RL-ongelmaa kuvataan seuraavasti:

${\pi }^{\ast }=\arg \underset{\pi }{\max }\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,a_t,s_{t+1})+\alpha H(\pi (\cdot |s_t)))]$

sisään $\alpha >0$ on vaihtokerroin.
Tilan arvofunktio, mukaan lukien entropiapalkkio jokaisessa aikavaiheessa$V^{\pi }$ varten:

$V^{\pi }(s)=\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,a_t,s_{t+1})+\alpha H(\pi (\cdot |s_t)))|s_0=s]$

Toimintoarvofunktio, joka sisältää entropiapalkkion jokaisesta aikavaiheesta paitsi ensimmäisestä aikavaiheesta $K^{\pi }$:

$K^{\pi }(s,a)=\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(s_t,a_t,s_{t+1})+\alpha \sum _{t=1}^{\infty }H(\pi (\cdot |s_t)))|s_0=s,a_0=a]$

• joitain papereita $K^{\pi }$ Sisältää entropiapalkkion ensimmäisen kerran

$V^{\pi }$ ja$K^{\pi }$ Suhde välillä on:

$V^{\pi }(s)=\underset{a\sim \pi }{E}[K^{\pi }(s,a)]+\alpha H(\pi (\cdot |s))$

noin $K^{\pi }$ Bellmanin kaava on:

$\begin{array}{rl}{K}^{\pi }(s,a)& =\underset{\genfrac{}{}{0ex}{}{s^{\prime }\sim P}{a^{\prime }\sim \pi }}{E}[R(s,a,s^{\prime })+\gamma (K^{\pi }(s^{\prime },a^{\prime })+\alpha H(\pi (\cdot |s^{\prime })))]\\ & =\underset{s^{\prime }\sim P}{E}[R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })]\end{array}$

SAC oppii politiikan samanaikaisesti ${\pi }_{\theta }$ ja kaksi$K$ toiminto$K_{{\varphi }_1},K_{{\varphi }_2}$。
Tällä hetkellä standardista SAC:sta on kaksi muunnelmaa: yksi käyttää kiinteääEntropian regularisointikerroin $\alpha$, toinen vaihtamalla harjoituksen aikana $\alpha$ pakottaakseen entropiarajoituksia.
OpenAI:n dokumentaatiossa käytetään versiota, jossa on kiinteä entropian regularisointikerroin, mutta käytännössä sitä suositaan useinentropiarajoitusvariantti.

Kuten alla näkyy, sisään $\alpha$ Kiinteässä versiossa, paitsi viimeisessä kuvassa, jossa on ilmeisiä etuja, muilla on vain pieniä etuja, periaatteessa samat kuin$\alpha$ Oppimisversio pysyy samana$\alpha$ Kaksi keskimmäistä kuvaa, joissa oppimisversiolla on etuja, ovat selvempiä.

Kuvan lähde

SAC VSTD3:
  ~  
Sama kohta:
1. Molemmat Q-funktiot opitaan minimoimalla MSBE (Mean Squared Bellman Error) regressiolla yhteen yhteiseen tavoitteeseen.
2. Käytä kohde-Q-verkkoa laskeaksesi jaetun kohteen ja suorita polyak-keskiarvotus Q-verkon parametreille koulutusprosessin aikana saadaksesi kohde-Q-verkko.
3. Jaettu kohde käyttää katkaistua double Q -tekniikkaa.
  ~  
ero:
1. SAC sisältää entropian regularisointitermin
2. Seuraava SAC-tavoitteessa käytetty tilatoiminto on peräisinNykyinen strategiastrategian sijaan.
3. Tasoittamiselle ei ole selkeää tavoitestrategiaa. TD3 kouluttaa determinististä politiikkaa toimilla kohti seuraavaa tilaaLisää satunnaista kohinaa tasaisuuden saavuttamiseksi. SAC harjoittelee satunnaista politiikkaa, ja satunnaisuudesta aiheutuva kohina riittää samanlaisten vaikutusten saavuttamiseen.

SAC-algoritmin pseudokoodi

Algoritmi: Soft Actor-Critic SAC
tulla sisään:${\theta }_1,{\theta }_2,\varphi$ Alustusparametrit
Parametrien alustus:
       ~~~~~~       Alusta kohdeverkon painot:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Toistopooli alustetaan tyhjäksi:$\mathcal{D}\leftarrow \varnothing$
$\mathbf{varten}$ jokainen iteraatio$\mathbf{tehdä}$ ：
       ~~~~~~       $\mathbf{varten}$ Jokainen ympäristövaihe$\mathbf{tehdä}$ ：
            ~~~~~~~~~~~            Esimerkki toimista käytännöstä: $a_t\sim {\pi }_{\varphi }(a_t|s_t)$ ▢Tässä ${\pi }_{\varphi }(a_t|s_t)$ Kuinka määritellä?
            ~~~~~~~~~~~            Esimerkki siirtymistä ympäristöstä:$s_{t+1}\sim s(s_{t+1}|s_t,a_t)$
            ~~~~~~~~~~~            Tallenna siirtyminen toistopooliin: $\mathcal{D}\leftarrow \mathcal{D}\cup \{(s_t,a_t,r(s_t,a_t),s_{t+1})\}$
       ~~~~~~       $\mathbf{loppu}\mathbf{varten}$
       ~~~~~~       $\mathbf{varten}$ Jokainen gradienttiaskel$\mathbf{tehdä}$ ：
            ~~~~~~~~~~~            uusia $K$ Toimintoparametrit: for i ∈ { 1 , 2 } iin{1,2}i∈{1,2}，${\theta }_i\leftarrow {\theta }_i-{\lambda }_K{\hat{\nabla }}_{{\theta }_i}{J}_K({\theta }_i)$ ▢Tässä $J_K({\theta }_i)$ Kuinka määritellä?
            ~~~~~~~~~~~            Päivitä strategiapainot: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢Tässä $J_{\pi }(\varphi )$ Kuinka määritellä?
            ~~~~~~~~~~~            Säädä lämpötilaa: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢Tässä $J(\alpha )$ Kuinka määritellä?Kuinka ymmärtää lämpötila tässä?
            ~~~~~~~~~~~             Päivitä verkon kohdepainot: for i ∈ { 1 , 2 } iin{1,2}i∈{1,2}，${\bar{\theta }}_i\leftarrow \tau {\theta }_i-(1-\tau ){\bar{\theta }}_i$ ▢ Miten tämä ymmärretään $\tau$ ? ——&gt;Tavoite tasoituskerroin
       ~~~~~~       $\mathbf{loppu}\mathbf{varten}$
$\mathbf{loppu}\mathbf{varten}$
Lähtö:${\theta }_1,{\theta }_1,\varphi$Optimoidut parametrit

$\hat{\nabla }$: stokastinen gradientti

$emptyset$$\varnothing$

Kävelemisen oppiminen syvän vahvistusopetuksen avulla Versio:
  ~  

$\alpha$ on lämpötilaparametri, joka määrittää entropiatermin ja palkkion suhteellisen tärkeyden ja säätelee siten optimaalisen strategian satunnaisuutta.
$\alpha$ Suuri: Tutki
$\alpha$ Pieni: hyödyntää

$J(\alpha )=\underset{a_t\sim {\pi }_t}{\mathbb{E}}[-\alpha \log {\pi }_t(a_t|s_t)-\alpha \bar{\mathcal{H}}]$