Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl version PDF note organisation P5, P10 - P12
• supplément de comparaison joyrl P11-P13
• Organisation des documents OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Dernière version PDF à télécharger
Adresse : https://github.com/datawhalechina/easy-rl/releases
Adresse nationale (recommandée pour les lecteurs nationaux)：
Lien : https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Code d'extraction : us6a

lien vers la version en ligne easy-rl (pour copier le code)
Lien de référence 2 : https://datawhalechina.github.io/joyrl-book/

autre:
[Lien de l'enregistrement des erratas]
——————
5. Bases de l'apprentissage par renforcement profond ⭐️
Contenu open source : https://linklearner.com/learn/summary/11
——————————

Source de l'image

Optimisation des politiques proximales (PPO)

Stratégie identique : L’agent à apprendre et l’agent interagissant avec l’environnement sont les mêmes.
Stratégies hétérogènes : l'agent à apprendre et l'agent qui interagit avec l'environnement sont différents

Gradient politique : il faut beaucoup de temps pour échantillonner les données

même stratégie $\stackrel{échantillonnage\; d\text{'}importance}{⟹}$ différentes stratégies

PPO : évitez deux distributions trop différentes. même algorithme de stratégie
1. Éléments d'optimisation originaux$J(\theta ,{\theta }^{\prime })$
2. Éléments de contrainte :$\theta$ et${\theta }^{\prime }$ La divergence KL de l'action de sortie ($\theta$ et${\theta }^{\prime }$ Plus c'est similaire, mieux c'est)

PPO a un prédécesseur : l'optimisation de la politique de région de confiance (TRPO)
TRPO est difficile à gérer car il traite la contrainte de divergence KL comme une contrainte supplémentaire et n'est pas placé dans la fonction objectif, il est donc difficile à calculer. Par conséquent, nous utilisons généralement PPO au lieu de TRPO. Les performances du PPO et du TRPO sont similaires, mais le PPO est beaucoup plus facile à mettre en œuvre que le TRPO.

Divergence KL : distance d’action.Distribution de probabilité d'effectuer une action distance.

Il existe deux variantes principales de l'algorithme PPO : la pénalité d'optimisation de politique proximale (pénalité PPO) et le découpage d'optimisation de politique proximale (clip PPO).

——————————
P10 Problème de récompense clairsemée
1. Concevez des récompenses. Nécessite une connaissance du domaine
Et si vous attribuiez la récompense finale à chaque action pertinente ?

2. Curiosité
Module de curiosité intrinsèque (ICM)
entrer:${un}_t,m_t$
Sortir:${\hat{m}}_{t+1}$
La valeur prédite du réseau${\hat{m}}_{t+1}$ avec une vraie valeur$m_{t+1}$ Plus ils sont différents, plus$l_t^{je}$ Le plus gros

$l_t^{je}$ : Plus l’état futur est difficile à prédire, plus grande est la récompense de l’action. Encouragez l’aventure et l’exploration.

• L'indicateur est trop unique et vous ne risquez d'apprendre que des choses inutiles.

extracteur de fonctionnalités

Réseau 2 :
Entrée : vecteur$\mathbf{\varphi }(m_t)$ et$\mathbf{\varphi }(m_{t+1})$

Prédire les actions $\widehat{un}$ Plus on se rapproche de l’action réelle, mieux c’est.

3. Étude de cours

Facile -> Difficile

Apprentissage inversé du programme :
En partant de l’état final le plus idéal [nous l’appelons l’état d’or], allez àTrouver l'état le plus proche de l'état d'or En tant qu'état « idéal » par étapes que vous souhaitez que l'agent atteigne. Bien entendu, nous supprimerons intentionnellement certains états extrêmes dans ce processus, c’est-à-dire les états trop faciles ou trop difficiles.

4. Apprentissage par renforcement hiérarchique (HRL)
La stratégie de l'agent est divisée en stratégies de haut niveau et stratégies de bas niveau. La stratégie de haut niveau détermine comment exécuter la stratégie de bas niveau en fonction de l'état actuel.

————————
P11 Apprentissage par imitation
Je ne suis pas sûr de la scène de récompense

Apprentissage par imitation (IL)
apprendre de la démonstration
Apprentissage par apprentissage
apprendre en regardant

Il y a des récompenses claires : jeux de société, jeux vidéo
Impossible de donner des récompenses claires : chatbot

Collectez des démonstrations d'experts : dossiers de conduite humaine, conversations humaines

Inversement, quelle fonction de récompense l'expert assume-t-il dans ces actions ?
L'apprentissage par renforcement inverse estTrouvez d’abord la fonction de récompense, après avoir trouvé la fonction de récompense, utilisez l'apprentissage par renforcement pour trouver l'acteur optimal.

Technologie d'apprentissage par imitation à la troisième personne

————————
P12 Gradient politique déterministe profond (DDPG)

Utiliser la stratégie de relecture de l'expérience

Analyse de l'expérience d'ablation [méthode à variable contrôlée]chaque contrainteimpact sur l'issue de la bataille.

---

Joyrl :

DDPG_continu

dans le besoincertitudestratégie etaction continueSous le principe de l'espace, ce type d'algorithme sera un algorithme de base relativement stable.

DQN pour les espaces d'action continue

Algorithme de gradient politique déterministe profond (DDPG)

Le mécanisme de relecture d'expérience peut réduire la corrélation entre les échantillons, améliorer l'utilisation efficace des échantillons et augmenter la stabilité de la formation.

défaut:
1. Ne peut pas être utilisé dans un espace d'action discret
2、Fortement dépendant des hyperparamètres
3. Conditions initiales très sensibles. Affecte la convergence et les performances de l'algorithme
4. Il est facile de tomber dans l’optimum local.

• En raison de l’adoption d’une stratégie déterministe, l’algorithme peut tomber dans un optimum local et rendre difficile la recherche de la stratégie optimale globale. Afin d'augmenter l'explorabilité, certaines mesures doivent être prises, telles que l'ajout de stratégies de bruit ou l'utilisation d'autres méthodes d'exploration.

L'avantage de la mise à jour logicielle est qu'elle est plus fluide et plus lente, ce qui permet d'éviter les chocs provoqués par des mises à jour de poids trop rapides et de réduire le risque de divergence d'entraînement.

Algorithme de gradient de politique déterministe à double retard (DDPG à double retard, TD3)

Algorithme de gradient politique déterministe à double retard

Trois améliorations : réseau Double Q, mise à jour différée, régularisation du bruit
Réseau Double Q : Deux réseaux Q, choisissez celui avec la valeur Q la plus petite. Traiter le problème de surestimation de la valeur Q et améliorer la stabilité et la convergence de l'algorithme.

Mise à jour différée : laissez la fréquence de mise à jour des acteurs être inférieure à la fréquence de mise à jour des critiques

• Réfléchissez à deux fois

Le bruit ressemble plus à unRégularisationde telle sorte quemise à jour de la fonction de valeurpluslisse

Bibliothèque de gymnase OpenAI_Pendulum_TD3

Lien vers l'interface du document OpenAI sur TD3

Lien PDF de l'article TD3

PPO_Espace d'action continue/discrète [OpenAI 201708]

L'algorithme PPO le plus couramment utilisé dans l'apprentissage par renforcement
Discret + continu
Paramètres rapides et stables, faciles à ajuster
algorithme de base

PPO indécis

En pratique, les contraintes de découpage sont généralement utilisées car elles sont plus simples, ont un coût de calcul inférieur et donnent de meilleurs résultats.

L'algorithme hors politique peutprofiter de l'expérience historique, utilisent généralement la relecture d'expérience pour stocker et réutiliser l'expérience précédente,L'efficacité de l'utilisation des données est élevée。

PPO est un algorithme de politique

• Bien que la partie échantillonnage d'importance utilise des échantillons de l'ancien échantillonnage d'acteurs, nousCes échantillons ne sont pas directement utilisés pour mettre à jour la stratégie. , mais utilisez l'échantillonnage par importance pour corriger d'abord les erreurs causées par différentes distributions de données, même si la différence entre les deux distributions d'échantillons est réduite autant que possible.En d'autres termes, on peut comprendre que bien que les échantillons après échantillonnage d'importance soient obtenus par échantillonnage selon l'ancienne stratégie, ils peuventApproximativement obtenu à partir de la politique mise à jour, c'est-à-dire que l'acteur que nous voulons optimiser et l'acteur que nous échantillonnons sont les mêmes.

——————————————————

—— Documentation OpenAI_PPO

Documentation OpenAI
Lien de l'interface papier arXiv : Algorithmes d'optimisation de politique proximale

PPO : algorithme sur politique, adapté aux espaces d'action discrets ou continus.Optimum local possible

La motivation du PPO est la même que celle du TRPO : comment exploiter les données existantesFranchissez la plus grande étape d’amélioration possible dans votre stratégie, sans trop le modifier et provoquer accidentellement une chute des performances ?
TRPO tente de résoudre ce problème avec une approche sophistiquée de second ordre, tandis que PPO est une approche de premier ordre qui utilise d'autres astuces pour maintenir la nouvelle stratégie proche de l'ancienne.
La méthode PPO est beaucoup plus simple à mettre en œuvre et, empiriquement, fonctionne au moins aussi bien que TRPO.

Il existe deux variantes principales du PPO : PPO-Penalty et PPO-Clip.

• PPO-Penalty résout approximativement les mises à jour des contraintes KL comme TRPO, mais pénalise la divergence KL dans la fonction objectif au lieu d'en faire une contrainte dure, et ajuste automatiquement le coefficient de pénalité pendant l'entraînement afin qu'il évolue de manière appropriée.
• PPO-Clip n'a pas de divergence KL ni de contraintes dans la fonction objectif. Au lieu de cela, elle repose sur une adaptation spécifique de la fonction objectif pour supprimer l’incitation de la nouvelle stratégie à s’éloigner de l’ancienne stratégie.
  PPO-Clip (variante principale utilisée par OpenAl).

Pseudo-code de l'algorithme PPO-Clip

Algorithme : PPO-Clip
1 : Entrée : paramètres de stratégie initiaux${\theta }_0$, paramètres de fonction de valeur initiale ${\varphi }_0$
2：$\mathbf{pour}k=0,1,2,\dots \mathbf{faire}$：
3：        ~~~~~~       En exécutant la stratégie dans l'environnement ${\pi }_k=\pi ({\theta }_k)$ Collecter l'ensemble de trajectoires D k = { τ i } {cal D}_k={tau_i}Dk​={τje​}
4：        ~~~~~~       Calculer les récompenses (récompenses à emporter) ${\hat{R}}_t$ ▢ ${\hat{R}}_t$ règles de calcul
5：        ~~~~~~       Calculer l'estimation de l'avantage, basée sur la fonction de valeur actuelle $V_{{\varphi }_k}$ de${\widehat{UN}}_t$ (Utilisez n'importe quelle méthode d'estimation de dominance)       ~~~~~       ▢ Quelles sont les méthodes actuelles d'estimation des avantages ?
6：        ~~~~~~       Mettez à jour la politique en maximisant la fonction objectif PPO-Clip :
            ~~~~~~~~~~~            
${\theta }_{k+1}=\arg \underset{\theta }{\max }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T\min (\frac{{\pi }_{\theta }({un}_t|m_t)}{{\pi }_{{\theta }_k}({un}_t|m_t)}{UN}^{{\pi }_{{\theta }_k}}(m_t,{un}_t),g(ϵ,{UN}^{{\pi }_{{\theta }_k}}(m_t,{un}_t)))$       ~~~~~       ▢ Comment déterminer la formule de mise à jour de la stratégie ?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_k}$ : Vecteur de paramètres de stratégie avant mise à jour. Importance de l'échantillonnage. Échantillonnage à partir d’anciennes stratégies.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Ascension générale du gradient stochastique + Adam
7：        ~~~~~~       erreur quadratique moyennefonction de valeur ajustée de régression:
            ~~~~~~~~~~~            
${\varphi }_{k+1}=\arg \underset{\varphi }{\min }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T(V_{\varphi }(m_t)-{\hat{R}}_t{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Descente de pente générale
8：$\mathbf{fin}\mathbf{pour}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$g(ϵ,UN)=\{\begin{array}{rlr}& (1+ϵ)UN& UN\ge 0\\ & (1-ϵ)UN& UN<0\end{array}$

dans le journalEstimation de l'avantage :

${\widehat{UN}}_t=-V(m_t)+\underset{{\hat{R}}_t???}{\underbrace{l_t+\gamma l_{t+1}+\cdots +{\gamma }^{T-t+1}{l}_{T-1}+{\gamma }^{T-t}V(m_T)}}$

faire ${\Delta }_t=l_t+\gamma V(m_{t+1})-V(m_t)$
mais$l_t={\Delta }_t-\gamma V(m_{t+1})+V(m_t)$

Remplaçant ${\widehat{UN}}_t$ expression

$\begin{array}{rl}{\widehat{UN}}_t& =-V(m_t)+l_t+\gamma l_{t+1}+{\gamma }^2{l}_{t+2}+\cdots +{\gamma }^{T-t}{l}_{T-2}+{\gamma }^{T-t+1}{l}_{T-1}+{\gamma }^{T-t}V(m_T)\\ & =-V(m_t)+l_t+\gamma l_{t+1}+\cdots +{\gamma }^{T-t+1}{l}_{T-1}+{\gamma }^{T-t}V(m_T)\\ & =-V(m_t)+\\ & {\Delta }_t-\gamma V(m_{t+1})+V(m_t)+\\ & \gamma ({\Delta }_{t+1}-\gamma V(m_{t+2})+V(m_{t+1}))+\\ & {\gamma }^2({\Delta }_{t+2}-\gamma V(m_{t+3})+V(m_{t+1}))+\\ & \cdots +\\ & {\gamma }^{T-t}({\Delta }_{T-t}-\gamma V(m_{T-t+1})+V(m_{T-t}))+\\ & {\gamma }^{T-t+1}({\Delta }_{T-1}-\gamma V(m_T)+V(m_{T-1}))+\\ & {\gamma }^{T-t}V(m_T)\\ & ={\Delta }_t+\gamma {\Delta }_{t+1}+{\gamma }^2{\Delta }_{t+2}+\cdots +{\gamma }^{T-t}{\Delta }_{T-t}+{\gamma }^{T-t+1}{\Delta }_{T-1}\end{array}$

Le clipping agit comme un régulateur en supprimant l’incitation à des changements radicaux de politique.hyperparamètres $ϵ$ Correspond à la distance entre la nouvelle stratégie et l'ancienne stratégie。

Il est toujours possible que ce type de découpage aboutisse à terme à une nouvelle stratégie très éloignée de l'ancienne stratégie. Dans la mise en œuvre ici, nous utilisons une méthode particulièrement simple :Arrêtez-vous tôt . Si la divergence KL moyenne de la nouvelle politique par rapport à l'ancienne politique dépasse un seuil, nous arrêtons d'exécuter l'étape de gradient.

Lien de dérivation simple de la fonction objectif PPO
La fonction objective de PPO-Clip est :
  ~  
$L_{{\theta }_k}^{\mathrm{AGRAFE}}(\theta )=\underset{m,un\sim {\theta }_k}{E}\left[\min \right(\frac{{\pi }_{\theta }(un|m)}{{\pi }_{{\theta }_k}(un|m)}{UN}^{{\theta }_k}(m,un),\mathrm{agrafe}(\frac{{\pi }_{\theta }(un|m)}{{\pi }_{{\theta }_k}(un|m)},1-ϵ,1+ϵ){UN}^{{\theta }_k}(m,un)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{m,un\sim {\theta }_k}{E}$
  ~  
Non.$k$ Paramètres de stratégie pour les itérations${\theta }_k$， $ϵ$ est un petit hyperparamètre.
installation$ϵ\in (0,1)$, définition
$F(l,UN,ϵ)\doteq \min (lUN,\mathrm{agrafe}(l,1-ϵ,1+ϵ)UN)$
quand $UN\ge 0$
$\begin{array}{rl}F(l,UN,ϵ)& =\min (lUN,\mathrm{agrafe}(l,1-ϵ,1+ϵ)UN)\\ & =UN\min (l,\mathrm{agrafe}(l,1-ϵ,1+ϵ))\\ & =UN\min (l,\left\{\begin{array}{rlr}& 1+ϵ& l\ge 1+ϵ\\ & l& l\in (1-ϵ,1+ϵ)\\ & 1-ϵ& l\le 1-ϵ\end{array}\right\})\\ & =UN\left\{\begin{array}{rlr}& \min (l,1+ϵ)& l\ge 1+ϵ\\ & \min (l,l)& l\in (1-ϵ,1+ϵ)\\ & \min (l,1-ϵ)& l\le 1-ϵ\end{array}\right\}\\ & =UN\left\{\begin{array}{rlr}& 1+ϵ& l\ge 1+ϵ\\ & l& l\in (1-ϵ,1+ϵ)\\ & l& l\le 1-ϵ\end{array}\right\}Selon\; la\; plage\; à\; droite\\ & =UN\min (l,1+ϵ)\\ & =\min (lUN,(1+ϵ)UN)\end{array}$
  ~  
quand $UN<0$
$\begin{array}{rl}F(l,UN,ϵ)& =\min (lUN,\mathrm{agrafe}(l,1-ϵ,1+ϵ)UN)\\ & =UN\mathrm{munX}(l,\mathrm{agrafe}(l,1-ϵ,1+ϵ))\\ & =UN\max (l,\left\{\begin{array}{rlr}& 1+ϵ& l\ge 1+ϵ\\ & l& l\in (1-ϵ,1+ϵ)\\ & 1-ϵ& l\le 1-ϵ\end{array}\right\})\\ & =UN\left\{\begin{array}{rlr}& \max (l,1+ϵ)& l\ge 1+ϵ\\ & \max (l,l)& l\in (1-ϵ,1+ϵ)\\ & \max (l,1-ϵ)& l\le 1-ϵ\end{array}\right\}\\ & =UN\left\{\begin{array}{rlr}& l& l\ge 1+ϵ\\ & l& l\in (1-ϵ,1+ϵ)\\ & 1-ϵ& l\le 1-ϵ\end{array}\right\}Selon\; la\; plage\; à\; droite\\ & =UN\max (l,1-ϵ)\\ & =\mathrm{mjen}(lUN,(1-ϵ)UN)\end{array}$
  ~  
En résumé : définissable$g(ϵ,UN)$
$g(ϵ,UN)=\{\begin{array}{rlr}& (1+ϵ)UN& UN\ge 0\\ & (1-ϵ)UN& UN<0\end{array}$

Pourquoi cette définition empêche-t-elle la nouvelle stratégie de s’éloigner trop de l’ancienne stratégie ?
Les méthodes d’échantillonnage par importance efficaces nécessitent de nouvelles stratégies ${\pi }_{\theta }(un|m)$ et les anciennes stratégies${\pi }_{{\theta }_k}(un|m)$ La différence entre les deux distributions ne peut pas être trop grande

1. Quand l’avantage est positif

$L(m,un,{\theta }_k,\theta )=\min (\frac{{\pi }_{\theta }(un|m)}{{\pi }_{{\theta }_k}(un|m)},1+ϵ){UN}^{{\pi }_{{\theta }_k}}(m,un)$
Fonction avantage : trouvez une certaine paire état-action avec plus de récompenses -&gt; augmentez le poids de la paire état-action.

Lorsqu'une paire état-action $(m,un)$ est positif, alors si l'action$un$ est plus susceptible d'être exécuté, c'est-à-dire si${\pi }_{\theta }(un|m)$ Augmentez et l'objectif augmentera.
min dans cet élément limite la fonction objectif à augmenter uniquement jusqu'à une certaine valeur
une fois${\pi }_{\theta }(un|m)>(1+ϵ){\pi }_{{\theta }_k}(un|m)$, min déclencheurs, limitant la valeur de cet élément à $(1+ϵ){\pi }_{{\theta }_k}(un|m)$。
la nouvelle politique n’a pas intérêt à s’éloigner de l’ancienne.
La nouvelle stratégie ne gagnera pas à s’éloigner de l’ancienne stratégie.

2. Quand l’avantage est négatif

$L(m,un,{\theta }_k,\theta )=\max (\frac{{\pi }_{\theta }(un|m)}{{\pi }_{{\theta }_k}(un|m)},1-ϵ){UN}^{{\pi }_{{\theta }_k}}(m,un)$

Lorsqu'une paire état-action $(m,un)$ L'avantage est négatif, alors si l'action$un$ est encore moins probable, c'est-à-dire si${\pi }_{\theta }(un|m)$ diminuera, la fonction objectif augmentera. Mais le maximum de ce terme limite la mesure dans laquelle la fonction objectif peut être augmentée.
une fois${\pi }_{\theta }(un|m)<(1-ϵ){\pi }_{{\theta }_k}(un|m)$, nombre maximum de déclencheurs, limitant la valeur de cet élément à $(1-ϵ){\pi }_{{\theta }_k}(un|m)$。

Encore une fois : la nouvelle politique n’a aucun avantage à s’éloigner de l’ancienne politique.
La nouvelle stratégie ne gagnera pas à s’éloigner de l’ancienne stratégie.

TD3_seulement consécutif: Double gradient politique déterministe profond retardé [ICML 2018 (Canada) Université McGill]

Source de l'image

Documentation OpenAI_TD3
Lien papier

Bien que DDPG puisse parfois atteindre d'excellentes performances, il est souvent instable lorsqu'il s'agit d'hyperparamètres et d'autres types de réglage.
Un mode d'échec courant du DDPG est que la fonction Q apprise commence à surestimer considérablement la valeur Q, ce qui entraîne ensuite la rupture de la politique car elle exploite l'erreur dans la fonction Q.
Twin Delayed DDPG (TD3) est un algorithme qui résout ce problème en introduisant trois techniques clés :
1、Double Q-Learning tronqué。

• TD3 apprend deux fonctions Q au lieu d'une (d'où le "jumeau") et utilise la plus petite des deux valeurs Q pour former la cible dans la fonction de perte d'erreur de Bellman.

2、Retard de mise à jour des règles。

• TD3 met à jour la politique (et le réseau cible) moins fréquemment que la fonction Q. Le document recommande de mettre à jour la politique chaque fois que la fonction Q est mise à jour deux fois.

3. Lissage de la stratégie cible.

• TD3 ajoute du bruit à l'action cible, ce qui rend plus difficile pour la politique d'exploiter les erreurs dans la fonction Q en lissant Q à travers les changements d'action.

TD3 est un algorithme hors politique, il ne peut être utilisé qu'aveccontinuL’environnement de l’espace d’action.

Pseudo-code de l'algorithme TD3

Algorithme : TD3
Utiliser des paramètres aléatoires${\theta }_1,{\theta }_2,\varphi$ Initialiser le réseau critique$Q_{{\theta }_1},Q_{{\theta }_2}$, et réseau d'acteurs ${\pi }_{\varphi }$
Initialiser le réseau cible${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Initialiser le jeu de tampons de lecture$\mathcal{B}$
$\mathbf{pour}t=1\mathbf{à}T$ ：
       ~~~~~~       Sélectionnez l'action avec le bruit d'exploration $un\sim {\pi }_{\varphi }(m)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$, récompense d'observation $l$ et nouveau statut$m^{\prime }$
       ~~~~~~       Le tuple de transition $(m,un,l,m^{\prime })$ dépôt à$\mathcal{B}$ milieu
       ~~~~~~       depuis $\mathcal{B}$ Échantillonnage de petits lots$N$ transitions$(m,un,l,m^{\prime })$
$\widetilde{un}\leftarrow {\pi }_{{\varphi }^{\prime }}(m^{\prime })+ϵ,ϵ\sim \mathrm{agrafe}(\mathcal{N}(0,\tilde{\sigma }),-c,c)$
$et\leftarrow l+\gamma \underset{je=1,2}{\min }{Q}_{{\theta }_{je}^{\prime }}(m^{\prime },\widetilde{un})$
       ~~~~~~       Critiques de mise à jour ${\theta }_{je}\leftarrow \arg \underset{{\theta }_{je}}{\min }{N}^{-1}\sum (et-Q_{{\theta }_{je}}(m,un){)}^2$
       ~~~~~~        $\mathbf{si}t\%d$：
            ~~~~~~~~~~~            Mise à jour via un gradient politique déterministe $\varphi$
${\nabla }_{\varphi }J(\varphi )=N^{-1}\sum {\nabla }_{un}{Q}_{{\theta }_1}(m,un){|}_{un={\pi }_{\varphi }(m)}{\nabla }_{\varphi }{\pi }_{\varphi }(m)$
            ~~~~~~~~~~~            Mettre à jour le réseau cible :
${\theta }_{je}^{\prime }\leftarrow \tau {\theta }_{je}+(1-\tau ){\theta }_{je}^{\prime }$$\tau$: Taux de mise à jour cible
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{fin}\mathbf{si}$
$\mathbf{fin}\mathbf{pour}$

Acteur-Critique doux : SAC_Continuous/Discrete Action Space [dernière version 201906 de Google Brain]

Source de l'image

Maximisez l'entropie de la politique, rendant ainsi la politique plus robuste.

stratégie déterministe Cela signifie qu'à état identique, choisissez toujours la même action
stratégie du hasard Cela signifie qu’il existe de nombreuses actions possibles qui peuvent être sélectionnées dans un état donné.

En application réelle, si les conditions le permettent, nousEssayez d'utiliserstratégie du hasard, comme A2C, PPO, etc., car il est plus flexible, plus robuste et plus stable.

L'apprentissage par renforcement d'entropie maximale estime que même si nous disposons actuellement de stratégies aléatoires matures, à savoir des algorithmes tels que AC, nous n'avons toujours pas atteint un caractère aléatoire optimal.Il introduit donc unentropie des informationsnotion, dansMaximiser la récompense cumulée tout en maximisant l'entropie de la politique, rendant la stratégie plus robuste et obtenant la stratégie aléatoire optimale.

——————————————————

—— Documentation OpenAI_SAC

Lien d'interface OpenAI Documentation_SAC
  ~  
Soft Actor-Critic : Apprentissage par renforcement profond à entropie maximale hors politique avec un acteur stochastique, Haarnoja et al, 201808 ICML 2018
Algorithmes et applications Soft Actor-Critic, Haarnoja et al, 201901
Apprendre à marcher grâce à l'apprentissage par renforcement profond, Haarnoja et al, 201906 RSS2019

Soft Actor Critic (SAC) optimise les stratégies aléatoires d'une manière hors politique.

DDPG + optimisation de stratégie stochastique

Ce n'est pas un successeur direct du TD3 (sorti à peu près à la même époque).

Il intègre l'astuce du double Q écrêté et, en raison du caractère aléatoire inhérent à la stratégie de SAC, il bénéficie également en fin de compte delissage de la politique cible。

Une fonctionnalité essentielle de SAC est régularisation de l'entropie régularisation de l'entropie。
La politique est formée pour maximiser le compromis entre la récompense attendue et l'entropie,L'entropie est une mesure du caractère aléatoire d'une politique。
Ceci est étroitement lié au compromis entre exploration et exploitation : une augmentation de l’entropie conduit àPlus à explorer,C'est acceptableAccélérer l’apprentissage ultérieur .c'est bonEmpêcher la politique de converger prématurément vers un mauvais optimum local。

Il peut être utilisé à la fois dans l’espace d’action continu et dans l’espace d’action discret.

exister Apprentissage par renforcement régularisé par l'entropie, l'agent obtient etL'entropie de la politique à ce pas de tempsRécompenses proportionnelles.
À l'heure actuelle, le problème RL est décrit comme :

${\pi }^{\ast }=\arg \underset{\pi }{\max }\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(m_t,{un}_t,m_{t+1})+\alpha H(\pi (\cdot |m_t)))]$

dans $\alpha >0$ est le coefficient de compromis.
Fonction de valeur d'état incluant la récompense d'entropie à chaque pas de temps$V^{\pi }$ pour:

$V^{\pi }(m)=\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(m_t,{un}_t,m_{t+1})+\alpha H(\pi (\cdot |m_t)))|m_0=m]$

Une fonction de valeur d'action qui inclut la récompense d'entropie pour chaque pas de temps sauf le premier $Q^{\pi }$:

$Q^{\pi }(m,un)=\underset{\tau \sim \pi }{E}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R(m_t,{un}_t,m_{t+1})+\alpha \sum _{t=1}^{\infty }H(\pi (\cdot |m_t)))|m_0=m,{un}_0=un]$

• quelques papiers $Q^{\pi }$ Contient la récompense d'entropie pour le premier pas de temps

$V^{\pi }$ et$Q^{\pi }$ La relation entre est la suivante :

$V^{\pi }(m)=\underset{un\sim \pi }{E}[Q^{\pi }(m,un)]+\alpha H(\pi (\cdot |m))$

à propos $Q^{\pi }$ La formule de Bellman est :

$\begin{array}{rl}{Q}^{\pi }(m,un)& =\underset{\genfrac{}{}{0ex}{}{m^{\prime }\sim P}{{un}^{\prime }\sim \pi }}{E}[R(m,un,m^{\prime })+\gamma (Q^{\pi }(m^{\prime },{un}^{\prime })+\alpha H(\pi (\cdot |m^{\prime })))]\\ & =\underset{m^{\prime }\sim P}{E}[R(m,un,m^{\prime })+\gamma V^{\pi }(m^{\prime })]\end{array}$

SAC apprend une politique simultanément ${\pi }_{\theta }$ et deux$Q$ fonction$Q_{{\varphi }_1},Q_{{\varphi }_2}$。
Il existe actuellement deux variantes du SAC standard : l'une utilise unCoefficient de régularisation de l'entropie $\alpha$, un autre en changeant pendant l'entraînement $\alpha$ pour appliquer des contraintes d’entropie.
La documentation d'OpenAI utilise une version avec un coefficient de régularisation d'entropie fixe, mais en pratique elle est souvent préféréecontrainte d'entropieune variante.

Comme indiqué ci-dessous, dans $\alpha$ Dans la version fixe, à l'exception de la dernière photo qui présente des avantages évidents, les autres n'ont que de légers avantages, essentiellement les mêmes que$\alpha$ La version d'apprentissage reste la même ;$\alpha$ Les deux images du milieu où la version d'apprentissage présente des avantages sont plus évidentes.

Source de l'image

SAC CONTRETD3:
  ~  
Même point :
1. Les deux fonctions Q sont apprises en minimisant le MSBE (Mean Squared Bellman Error) par régression vers un seul objectif partagé.
2. Utilisez le réseau Q cible pour calculer la cible partagée et effectuez une moyenne polyak sur les paramètres du réseau Q pendant le processus de formation pour obtenir le réseau Q cible.
3. La cible partagée utilise la technique du double Q tronqué.
  ~  
différence:
1. SAC contient un terme de régularisation d'entropie
2. La prochaine action de l’État utilisée dans l’objectif SAC vient deStratégie actuelle, plutôt que la stratégie cible.
3. Il n’existe pas de stratégie cible claire pour le lissage. TD3 entraîne une politique déterministe en passant à l'état suivantAjouter du bruit aléatoire pour obtenir de la douceur. SAC entraîne une politique aléatoire, et le bruit du hasard est suffisant pour obtenir des effets similaires.

Pseudocode de l'algorithme SAC

Algorithme : Soft Acteur-Critique SAC
entrer:${\theta }_1,{\theta }_2,\varphi$ Paramètres d'initialisation
Initialisation des paramètres :
       ~~~~~~       Initialisez les pondérations du réseau cible :${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Le pool de lecture est initialisé pour être vide :$\mathcal{D}\leftarrow \varnothing$
$\mathbf{pour}$ chaque itération$\mathbf{faire}$ ：
       ~~~~~~       $\mathbf{pour}$ Chaque étape de l'environnement$\mathbf{faire}$ ：
            ~~~~~~~~~~~            Exemples d'actions d'une stratégie : ${un}_t\sim {\pi }_{\varphi }({un}_t|m_t)$ ▢Ici ${\pi }_{\varphi }({un}_t|m_t)$ Comment définir ?
            ~~~~~~~~~~~            Exemples de transitions à partir de l'environnement :$m_{t+1}\sim p(m_{t+1}|m_t,{un}_t)$
            ~~~~~~~~~~~            Enregistrez la transition vers le pool de lecture : $\mathcal{D}\leftarrow \mathcal{D}\cup \{(m_t,{un}_t,l(m_t,{un}_t),m_{t+1})\}$
       ~~~~~~       $\mathbf{fin}\mathbf{pour}$
       ~~~~~~       $\mathbf{pour}$ Chaque étape du dégradé$\mathbf{faire}$ ：
            ~~~~~~~~~~~            renouveler $Q$ Paramètres de fonction: pour i ∈ { 1 , 2 } iin{1,2}je∈{1,2}，${\theta }_{je}\leftarrow {\theta }_{je}-{\lambda }_Q{\hat{\nabla }}_{{\theta }_{je}}{J}_Q({\theta }_{je})$ ▢Ici $J_Q({\theta }_{je})$ Comment définir ?
            ~~~~~~~~~~~            Mettre à jour les pondérations de la stratégie : $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢Ici $J_{\pi }(\varphi )$ Comment définir ?
            ~~~~~~~~~~~            Ajuster la température : $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢Ici $J(\alpha )$ Comment définir ?Comment comprendre la température ici ?
            ~~~~~~~~~~~             Mettre à jour les pondérations du réseau cible : pour i ∈ { 1 , 2 } iin{1,2}je∈{1,2}，${\bar{\theta }}_{je}\leftarrow \tau {\theta }_{je}-(1-\tau ){\bar{\theta }}_{je}$ ▢ Comment comprendre cela $\tau$ ? ——&gt;Coefficient de lissage cible
       ~~~~~~       $\mathbf{fin}\mathbf{pour}$
$\mathbf{fin}\mathbf{pour}$
Sortir:${\theta }_1,{\theta }_1,\varphi$Paramètres optimisés

$\hat{\nabla }$: gradient stochastique

$emptyset$$\varnothing$

Apprendre à marcher grâce à l'apprentissage par renforcement profond Version en :
  ~  

$\alpha$ est le paramètre de température, qui détermine l'importance relative du terme d'entropie et de la récompense, contrôlant ainsi le caractère aléatoire de la stratégie optimale.
$\alpha$ Grand : Explorer
$\alpha$ Petit : exploiter

$J(\alpha )=\underset{{un}_t\sim {\pi }_t}{\mathbb{E}}[-\alpha \log {\pi }_t({un}_t|m_t)-\alpha \bar{\mathcal{H}}]$