Compartir tecnología

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl versión PDF organización de notas P5, P10 - P12
• suplemento comparativo joyrl P11-P13
• Organización de documentos OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Descargar la última versión en PDF
Dirección: https://github.com/datawhalechina/easy-rl/releases
Dirección nacional (recomendada para lectores nacionales)：
Enlace: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Código de extracción: us6a

Enlace de la versión en línea de easy-rl (para copiar el código)
Enlace de referencia 2: https://datawhalechina.github.io/joyrl-book/

otro:
[Enlace de registro de erratas]
——————
5. Conceptos básicos del aprendizaje por refuerzo profundo ⭐️
Contenido de código abierto: https://linklearner.com/learn/summary/11
——————————

Fuente de imagen

Optimización de políticas próximas (PPO)

Estrategia idéntica: el agente a aprender y el agente que interactúa con el entorno son el mismo.
Estrategias heterogéneas: el agente que aprende y el agente que interactúa con el entorno son diferentes

Gradiente de políticas: requiere mucho tiempo para muestrear datos

misma estrategia $\stackrel{muestreo\; de\; importancia}{⟹}$ diferentes estrategias

PPO: Evite dos distribuciones que difieran demasiado. mismo algoritmo de estrategia
1. Elementos de optimización originales.$Yo(\theta ,{\theta }^{\prime })$
2. Elementos de restricción:$\theta$ y${\theta }^{\prime }$ La divergencia KL de la acción de salida ($\theta$ y${\theta }^{\prime }$ Cuanto más parecidos mejor)

PPO tiene un predecesor: optimización de políticas de región de confianza (TRPO)
TRPO es difícil de manejar porque trata la restricción de divergencia de KL como una restricción adicional y no se coloca en la función objetivo, por lo que es difícil de calcular. Por lo tanto, generalmente utilizamos PPO en lugar de TRPO. El desempeño de PPO y TRPO es similar, pero PPO es mucho más fácil de implementar que TRPO.

Divergencia KL: distancia de acción.Distribución de probabilidad de realizar una acción. distancia.

Hay dos variantes principales del algoritmo PPO: penalización de optimización de políticas proximales (penalización PPO) y recorte de optimización de políticas proximales (clip PPO).

——————————
P10 Problema de recompensa escasa
1. Diseñar recompensas. Requiere conocimiento del dominio
¿Qué tal asignar la recompensa final a cada acción relevante?

2. Curiosidad
Módulo de curiosidad intrínseca (ICM)
ingresar:$a_a,s_a$
Producción:${\hat{s}}_{a+1}$
El valor previsto de la red.${\hat{s}}_{a+1}$ con valor verdadero$s_{a+1}$ Cuanto más diferentes sean, más$a_a^i$ El más grande

$a_a^i$ : Cuanto más difícil sea predecir el estado futuro, mayor será la recompensa por la acción. Fomente la aventura y la exploración.

• El indicador es demasiado único y es posible que solo aprendas cosas inútiles.

extractor de funciones

Red 2:
Entrada: vector$\mathbf{\varphi }(s_a)$ y$\mathbf{\varphi }(s_{a+1})$

Predecir la acción $\hat{a}$ Cuanto más se acerque a la acción real, mejor.

3. Estudio del curso

Fácil -> Difícil

Aprendizaje curricular inverso:
Comenzando desde el estado final más ideal [lo llamamos estado dorado], vaya aEncuentra el estado más cercano al estado dorado Como un estado "ideal" por etapas que desea que alcance el agente. Por supuesto, eliminaremos intencionalmente algunos estados extremos en este proceso, es decir, estados que son demasiado fáciles o demasiado difíciles.

4. Aprendizaje por refuerzo jerárquico (HRL)
La estrategia del agente se divide en estrategias de alto nivel y estrategias de bajo nivel. La estrategia de alto nivel determina cómo ejecutar la estrategia de bajo nivel en función del estado actual.

————————
P11 Aprendizaje por imitación
No estoy seguro de la escena de la recompensa.

Aprendizaje por imitación (IL)
aprendiendo de la demostración
Aprendizaje
aprendiendo mirando

Hay recompensas claras: juegos de mesa, videojuegos.
No se pueden dar recompensas claras: chatbot

Recopile demostraciones de expertos: registros de conducción humanos, conversaciones humanas.

A la inversa, ¿qué tipo de función de recompensa realiza el experto ante estas acciones?
El aprendizaje por refuerzo inverso esPrimero encuentre la función de recompensa.Después de encontrar la función de recompensa, utilice el aprendizaje por refuerzo para encontrar el actor óptimo.

Tecnología de aprendizaje por imitación en tercera persona.

————————
P12 gradiente político determinista profundo (DDPG)

Utilice la estrategia de repetición de experiencia

Análisis del experimento de ablación [método de variable controlada]cada restricciónimpacto en el resultado de la batalla.

---

alegría：

DDPG_continuo

en necesidadcertezaestrategia yacción continuaBajo la premisa del espacio, este tipo de algoritmo será un algoritmo de referencia relativamente estable.

DQN para espacios de acción continua

Algoritmo de gradiente de políticas determinista profundo (DDPG)

El mecanismo de repetición de experiencias puede reducir la correlación entre muestras, mejorar la utilización efectiva de las muestras y aumentar la estabilidad del entrenamiento.

defecto:
1. No se puede utilizar en un espacio de acción discreto.
2、Altamente dependiente de hiperparámetros
3. Condiciones iniciales muy sensibles. Afecta la convergencia y el rendimiento del algoritmo.
4. Es fácil caer en el óptimo local.

• Debido a la adopción de una estrategia determinista, el algoritmo puede caer en un óptimo local y dificultar la búsqueda de la estrategia óptima global. Para aumentar la explorabilidad, es necesario tomar algunas medidas, como agregar estrategias de ruido o utilizar otros métodos de exploración.

La ventaja de la actualización suave es que es más suave y lenta, lo que puede evitar los shocks causados ​​por actualizaciones de peso demasiado rápidas y reducir el riesgo de divergencia en el entrenamiento.

Algoritmo de gradiente de política determinista de doble retraso (DDPG doble retrasado, TD3)

Algoritmo de gradiente de política determinista de doble retraso

Tres mejoras: red Doble Q, actualización retrasada, regularización de ruido
Red Doble Q : Dos redes Q, elija la que tenga un valor Q menor. Tratar el problema de sobreestimación del valor Q y mejorar la estabilidad y convergencia del algoritmo.

Actualización retrasada: permita que la frecuencia de actualización del actor sea menor que la frecuencia de actualización crítica

• Pensar dos veces

El ruido es más como unRegularizaciónde una manera queactualización de la función de valormásliso

Biblioteca de gimnasio OpenAI_Pendulum_TD3

Enlace de interfaz de documento OpenAI sobre TD3

Enlace PDF del documento TD3

PPO_Espacio de acción continua/discreta [OpenAI 201708]

El algoritmo PPO más utilizado en el aprendizaje por refuerzo.
Discreto + continuo
Parámetros rápidos y estables, fáciles de ajustar.
algoritmo de referencia

PPO indeciso

En la práctica, las restricciones de recorte se utilizan generalmente porque son más simples, tienen un costo computacional más bajo y tienen mejores resultados.

El algoritmo fuera de política puedeaprovechar la experiencia histórica, generalmente usa la repetición de experiencias para almacenar y reutilizar experiencias anteriores,La eficiencia de utilización de datos es alta。

PPO es un algoritmo basado en políticas

• Aunque la parte del muestreo de importancia utiliza muestras del antiguo muestreo de actores,Estas muestras no se utilizan directamente para actualizar la estrategia. En cambio, el muestreo de importancia se utiliza para corregir primero los errores causados ​​por diferentes distribuciones de datos, incluso si la diferencia entre las dos distribuciones de muestra se reduce tanto como sea posible.En otras palabras, se puede entender que aunque las muestras después del muestreo de importancia se obtienen mediante muestreo mediante la estrategia anterior, puedenObtenido aproximadamente de la política actualizada., es decir, el actor que queremos optimizar y el actor que probamos son los mismos.

——————————————————

—— Documentación de OpenAI_PPO

Documentación de OpenAI
Enlace de la interfaz Paper arXiv: Algoritmos de optimización de políticas próximas

PPO: algoritmo on-policy, adecuado para espacios de acción discretos o continuos.Posible óptimo local

La motivación de PPO es la misma que de TRPO: cómo aprovechar los datos existentesDa el mayor paso de mejora posible en tu estrategia, sin cambiarlo demasiado y provocar accidentalmente una caída del rendimiento?
TRPO intenta resolver este problema con un enfoque sofisticado de segundo orden, mientras que PPO es un enfoque de primer orden que utiliza algunos otros trucos para mantener la nueva estrategia cerca de la anterior.
El método PPO es mucho más sencillo de implementar y, empíricamente, funciona al menos tan bien como TRPO.

Hay dos variaciones principales de PPO: PPO-Penalty y PPO-Clip.

• PPO-Penalty resuelve aproximadamente las actualizaciones de restricciones de KL como TRPO, pero penaliza la divergencia de KL en la función objetivo en lugar de convertirla en una restricción estricta, y ajusta automáticamente el coeficiente de penalización durante el entrenamiento para que escale adecuadamente.
• PPO-Clip no tiene divergencia KL ni restricciones en la función objetivo. En cambio, se basa en una adaptación específica de la función objetivo para eliminar el incentivo para que la nueva estrategia se aleje de la antigua.
  PPO-Clip (variante principal utilizada por OpenAl).

Pseudocódigo del algoritmo PPO-Clip

Algoritmo: PPO-Clip
1: Entrada: parámetros de estrategia iniciales${\theta }_0$, parámetros de función de valor inicial ${\varphi }_0$
2：$\mathbf{para}a=0,1,2,\dots \mathbf{hacer}$：
3：        ~~~~~~       Ejecutando la política en el entorno. ${\pi }_a=\pi ({\theta }_a)$ Recoger conjunto de trayectoria D k = { τ i } {cal D}_k={tau_i}Da​={τi​}
4：        ~~~~~~       Calcular recompensas (recompensas para llevar) ${\hat{R}}_a$ ▢ ${\hat{R}}_a$ reglas de cálculo
5：        ~~~~~~       Calcular la estimación de la ventaja, basándose en la función de valor actual $V_{{\varphi }_a}$ de${\hat{A}}_a$ (Utilice cualquier método de estimación de dominancia)       ~~~~~       ▢ ¿Cuáles son los métodos actuales de estimación de ventajas?
6：        ~~~~~~       Actualice la política maximizando la función objetivo de PPO-Clip:
            ~~~~~~~~~~~            
${\theta }_{a+1}=\mathrm{Arkansasgramoramoramoramoramoramoramoramoramo}\underset{\theta }{\mathrm{máximo}}\frac{1}{|{\mathcal{D}}_a|yo}\sum _{\tau \in {\mathcal{D}}_a}\sum _{a=0}^{yo}mín.(\frac{{\pi }_{\theta }(a_a|s_a)}{{\pi }_{{\theta }_a}(a_a|s_a)}{A}^{{\pi }_{{\theta }_a}}(s_a,a_a),gramoramoramoramoramoramoramoramoramo(ϵ,A^{{\pi }_{{\theta }_a}}(s_a,a_a)))$       ~~~~~       ▢ ¿Cómo determinar la fórmula de actualización de la estrategia?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_a}$ : Vector de parámetros de estrategia antes de la actualización. Muestreo de importancia. Muestreo a partir de viejas estrategias.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Ascenso del gradiente estocástico general + Adam
7：        ~~~~~~       error cuadrático mediofunción de valor ajustado de regresión:
            ~~~~~~~~~~~            
${\varphi }_{a+1}=\mathrm{Arkansasgramoramoramoramoramoramoramoramoramo}\underset{\varphi }{mín.}\frac{1}{|{\mathcal{D}}_a|yo}\sum _{\tau \in {\mathcal{D}}_a}\sum _{a=0}^{yo}(V_{\varphi }(s_a)-{\hat{R}}_a{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Descenso de gradiente general
8：$\mathbf{fin}\mathbf{para}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$gramoramoramoramoramoramoramoramoramo(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

en el papelEstimación de ventaja:

${\hat{A}}_a=-V(s_a)+\underset{{\hat{R}}_a???}{\underbrace{a_a+\gamma a_{a+1}+\cdots +{\gamma }^{yo-a+1}{a}_{yo-1}+{\gamma }^{yo-a}V(s_{yo})}}$

hacer ${\Delta }_a=a_a+yV(s_{a+1})-V(s_a)$
pero$a_a={\Delta }_a-yV(s_{a+1})+V(s_a)$

Sustituto ${\hat{A}}_a$ expresión

$\begin{array}{rl}{\hat{A}}_a& =-V(s_a)+a_a+\gamma a_{a+1}+{\gamma }^2{a}_{a+2}+\cdots +{\gamma }^{yo-a}{a}_{yo-2}+{\gamma }^{yo-a+1}{a}_{yo-1}+{\gamma }^{yo-a}V(s_{yo})\\ & =-V(s_a)+a_a+\gamma a_{a+1}+\cdots +{\gamma }^{yo-a+1}{a}_{yo-1}+{\gamma }^{yo-a}V(s_{yo})\\ & =-V(s_a)+\\ & {\Delta }_a-yV(s_{a+1})+V(s_a)+\\ & \gamma ({\Delta }_{a+1}-yV(s_{a+2})+V(s_{a+1}))+\\ & {\gamma }^2({\Delta }_{a+2}-yV(s_{a+3})+V(s_{a+1}))+\\ & \cdots +\\ & {\gamma }^{yo-a}({\Delta }_{yo-a}-yV(s_{yo-a+1})+V(s_{yo-a}))+\\ & {\gamma }^{yo-a+1}({\Delta }_{yo-1}-yV(s_{yo})+V(s_{yo-1}))+\\ & {\gamma }^{yo-a}V(s_{yo})\\ & ={\Delta }_a+\gamma {\Delta }_{a+1}+{\gamma }^2{\Delta }_{a+2}+\cdots +{\gamma }^{yo-a}{\Delta }_{yo-a}+{\gamma }^{yo-a+1}{\Delta }_{yo-1}\end{array}$

El recorte actúa como un regularizador al eliminar el incentivo para cambios drásticos en las políticas.hiperparámetros $ϵ$ Corresponde a la distancia entre la nueva estrategia y la antigua estrategia.。

Todavía es posible que este tipo de recorte eventualmente dé como resultado una nueva estrategia que esté lejos de la estrategia anterior. En la implementación aquí, utilizamos un método particularmente simple:Deténgase temprano . Si la divergencia KL promedio de la nueva política de la política anterior excede un umbral, dejamos de ejecutar el paso de gradiente.

Enlace de derivación simple de la función objetivo de PPO
La función objetivo de PPO-Clip es:
  ~  
${yo}_{{\theta }_a}^{\mathrm{ACORTAR}}(\theta )=\underset{s,a\sim {\theta }_a}{\mathrm{mi}}[mín.(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_a}(a|s)}{A}^{{\theta }_a}(s,a),\mathrm{acortar}(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_a}(a|s)},1-ϵ,1+ϵ)A^{{\theta }_a}(s,a)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{s,a\sim {\theta }_a}{\mathrm{mi}}$
  ~  
No.$a$ Parámetros de estrategia para iteraciones.${\theta }_a$， $ϵ$ es un pequeño hiperparámetro.
configuración$ϵ\in (0,1)$, definición
$F(a,A,ϵ)\doteq mín.(aA,\mathrm{acortar}(a,1-ϵ,1+ϵ)A)$
cuando $A\ge 0$
$\begin{array}{rl}F(a,A,ϵ)& =mín.(aA,\mathrm{acortar}(a,1-ϵ,1+ϵ)A)\\ & =Amín.(a,\mathrm{acortar}(a,1-ϵ,1+ϵ))\\ & =Amín.(a,\left\{\begin{array}{rlr}& 1+ϵ& a\ge 1+ϵ\\ & a& a\in (1-ϵ,1+ϵ)\\ & 1-ϵ& a\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& mín.(a,1+ϵ)& a\ge 1+ϵ\\ & mín.(a,a)& a\in (1-ϵ,1+ϵ)\\ & mín.(a,1-ϵ)& a\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& 1+ϵ& a\ge 1+ϵ\\ & a& a\in (1-ϵ,1+ϵ)\\ & a& a\le 1-ϵ\end{array}\right\}Según\; el\; rango\; de\; la\; derecha\\ & =Amín.(a,1+ϵ)\\ & =mín.(aA,(1+ϵ)A)\end{array}$
  ~  
cuando $A<0$
$\begin{array}{rl}F(a,A,ϵ)& =mín.(aA,\mathrm{acortar}(a,1-ϵ,1+ϵ)A)\\ & =A\mathrm{metroetroaX}(a,\mathrm{acortar}(a,1-ϵ,1+ϵ))\\ & =A\mathrm{máximo}(a,\left\{\begin{array}{rlr}& 1+ϵ& a\ge 1+ϵ\\ & a& a\in (1-ϵ,1+ϵ)\\ & 1-ϵ& a\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \mathrm{máximo}(a,1+ϵ)& a\ge 1+ϵ\\ & \mathrm{máximo}(a,a)& a\in (1-ϵ,1+ϵ)\\ & \mathrm{máximo}(a,1-ϵ)& a\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& a& a\ge 1+ϵ\\ & a& a\in (1-ϵ,1+ϵ)\\ & 1-ϵ& a\le 1-ϵ\end{array}\right\}Según\; el\; rango\; de\; la\; derecha\\ & =A\mathrm{máximo}(a,1-ϵ)\\ & =\mathrm{metroetroinorte}(aA,(1-ϵ)A)\end{array}$
  ~  
En resumen: definible$gramoramoramoramoramoramoramoramoramo(ϵ,A)$
$gramoramoramoramoramoramoramoramoramo(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

¿Por qué esta definición impide que la nueva estrategia se aleje demasiado de la antigua?
Los métodos de muestreo de importancia eficaces requieren nuevas estrategias ${\pi }_{\theta }(a|s)$ y viejas estrategias${\pi }_{{\theta }_a}(a|s)$ La diferencia entre las dos distribuciones no puede ser demasiado grande.

1. Cuando la ventaja es positiva

$yo(s,a,{\theta }_a,\theta )=mín.(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_a}(a|s)},1+ϵ)A^{{\pi }_{{\theta }_a}}(s,a)$
Función de ventaja: encuentre un determinado par estado-acción con más recompensas -&gt; aumente el peso del par estado-acción.

Cuando un par estado-acción $(s,a)$ es positivo, entonces si la acción$a$ es más probable que sea ejecutado, es decir, si${\pi }_{\theta }(a|s)$ Aumenta y la meta aumentará.
min en este elemento limita la función objetivo para que solo aumente hasta un cierto valor
una vez${\pi }_{\theta }(a|s)>(1+ϵ){\pi }_{{\theta }_a}(a|s)$, disparadores mínimos, lo que limita el valor de este elemento a $(1+ϵ){\pi }_{{\theta }_a}(a|s)$。
La nueva política no se beneficia alejándose de la antigua.
La nueva estrategia no se beneficiará al alejarse de la antigua estrategia.

2. Cuando la ventaja es negativa

$yo(s,a,{\theta }_a,\theta )=\mathrm{máximo}(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_a}(a|s)},1-ϵ)A^{{\pi }_{{\theta }_a}}(s,a)$

Cuando un par estado-acción $(s,a)$ La ventaja es negativa, entonces si la acción$a$ es aún menos probable, es decir, si${\pi }_{\theta }(a|s)$ disminuye, la función objetivo aumentará. Pero el máximo en este término limita cuánto se puede aumentar la función objetivo.
una vez${\pi }_{\theta }(a|s)<(1-ϵ){\pi }_{{\theta }_a}(a|s)$, disparadores máximos, limitando el valor de este elemento a $(1-ϵ){\pi }_{{\theta }_a}(a|s)$。

Una vez más: la nueva política no se beneficia al alejarse mucho de la antigua política.
La nueva estrategia no se beneficiará al alejarse de la antigua estrategia.

TD3_solo consecutivo: Doble gradiente de políticas deterministas profundas y retrasadas [ICML 2018 (Canadá) Universidad McGill]

Fuente de imagen

Documentación de OpenAI_TD3
Enlace de papel

Si bien DDPG a veces puede lograr un rendimiento excelente, a menudo es inestable cuando se trata de hiperparámetros y otros tipos de ajuste.
Un modo de falla común de DDPG es que la función Q aprendida comienza a sobreestimar significativamente el valor Q, lo que luego hace que la política falle porque explota el error en la función Q.
Twin Delayed DDPG (TD3) es un algoritmo que resuelve este problema introduciendo tres técnicas clave:
1、Doble Q-Learning truncado。

• TD3 aprende dos funciones Q en lugar de una (de ahí el "gemelo") y utiliza el menor de los dos valores Q para formar el objetivo en la función de pérdida de error de Bellman.

2、Retraso en la actualización de la política。

• TD3 actualiza la política (y la red de destino) con menos frecuencia que la función Q. El documento recomienda actualizar la política cada vez que la función Q se actualiza dos veces.

3. Suavizado de la estrategia objetivo.

• TD3 agrega ruido a la acción objetivo, lo que dificulta que la política aproveche los errores en la función Q al suavizar Q en los cambios de acción.

TD3 es un algoritmo fuera de política y sólo se puede utilizar con;continuoEl entorno del espacio de acción.

Pseudocódigo del algoritmo TD3

Algoritmo: TD3
Usar parámetros aleatorios${\theta }_1,{\theta }_2,\varphi$ Inicializar red crítica$Q_{{\theta }_1},Q_{{\theta }_2}$y red de actores ${\pi }_{\varphi }$
Inicializar la red de destino${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Inicializar el conjunto de búfer de reproducción$\mathcal{B}$
$\mathbf{para}a=1\mathbf{a}yo$ ：
       ~~~~~~       Seleccionar acción con ruido de exploración. $a\sim {\pi }_{\varphi }(s)+ϵ,ϵ\sim \mathcal{norte}(0,\sigma )$, recompensa de observación $a$ y nuevo estatus$s^{\prime }$
       ~~~~~~       La tupla de transición $(s,a,a,s^{\prime })$ depositar a$\mathcal{B}$ medio
       ~~~~~~       de $\mathcal{B}$ Muestreo de lotes pequeños$norte$ transiciones$(s,a,a,s^{\prime })$
$\tilde{a}\leftarrow {\pi }_{{\varphi }^{\prime }}(s^{\prime })+ϵ,ϵ\sim \mathrm{acortar}(\mathcal{norte}(0,\tilde{\sigma }),-C,C)$
$y\leftarrow a+\gamma \underset{i=1,2}{mín.}{Q}_{{\theta }_i^{\prime }}(s^{\prime },\tilde{a})$
       ~~~~~~       Actualizar críticos ${\theta }_i\leftarrow \mathrm{Arkansasgramoramoramoramoramoramoramoramoramo}\underset{{\theta }_i}{mín.}{norte}^{-1}\sum (y-Q_{{\theta }_i}(s,a){)}^2$
       ~~~~~~        $\mathbf{si}a\%d$：
            ~~~~~~~~~~~            Actualización mediante gradiente de política determinista $\varphi$
${\nabla }_{\varphi }Yo(\varphi )={norte}^{-1}\sum {\nabla }_a{Q}_{{\theta }_1}(s,a){|}_{a={\pi }_{\varphi }(s)}{\nabla }_{\varphi }{\pi }_{\varphi }(s)$
            ~~~~~~~~~~~            Actualizar la red de destino:
${\theta }_i^{\prime }\leftarrow \tau {\theta }_i+(1-\tau ){\theta }_i^{\prime }$$\tau$: Tasa de actualización objetivo
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{fin}\mathbf{si}$
$\mathbf{fin}\mathbf{para}$

Actor-crítico suave: SAC_Continuous/Discrete Action Space [última versión de Google Brain 201906]

Fuente de imagen

Maximizar la entropía de la política, haciéndola más sólida.

estrategia determinista Significa que ante el mismo estado, siempre eliges la misma acción.
estrategia de aleatoriedad Significa que hay muchas acciones posibles que se pueden seleccionar en un estado determinado.

En la aplicación real, si las condiciones lo permiten,Tratar de usarestrategia de aleatoriedad, como A2C, PPO, etc., porque es más flexible, más robusto y más estable.

El aprendizaje por refuerzo de máxima entropía cree que, aunque actualmente tenemos estrategias de aleatoriedad maduras, es decir, algoritmos como AC, todavía no hemos logrado una aleatoriedad óptima.Por tanto, introduce unaentropía de la informaciónconcepto, enMaximizar la recompensa acumulada mientras se maximiza la entropía de la política., haciendo la estrategia más robusta y logrando la estrategia de aleatoriedad óptima.

——————————————————

—— Documentación OpenAI_SAC

Enlace de interfaz OpenAI Documentation_SAC
  ~  
Actor crítico blando: aprendizaje de refuerzo profundo de máxima entropía sin políticas con un actor estocástico, Haarnoja y otros, 201808 ICML 2018
Algoritmos y aplicaciones de actores críticos suaves, Haarnoja y otros, 201901
Aprender a caminar mediante el aprendizaje de refuerzo profundo, Haarnoja y col., 201906 RSS2019

Soft Actor Critic (SAC) optimiza estrategias aleatorias fuera de las políticas.

DDPG + optimización de estrategia estocástica

No es un sucesor directo de TD3 (lanzado aproximadamente al mismo tiempo).

Incorpora el truco de la doble Q recortada y, debido a la aleatoriedad inherente de la estrategia de SAC, en última instancia también se beneficia desuavización de políticas objetivo。

Una característica central de SAC es regularización de entropía regularización de entropía。
La política está entrenada para maximizar el equilibrio entre la recompensa esperada y la entropía,La entropía es una medida de la aleatoriedad de una política.。
Esto está estrechamente relacionado con el equilibrio entre exploración y explotación: un aumento de la entropía conduce aMás para explorar,esto esta bienAcelerar el aprendizaje posterior .está bienEvitar que la política converja prematuramente hacia un mal óptimo local.。

Se puede utilizar tanto en espacios de acción continuos como en espacios de acciones discretas.

existir Aprendizaje por refuerzo regularizado por entropía, el agente obtiene yLa entropía de la política en este paso de tiempo.Recompensas proporcionales.
En este momento el problema de RL se describe como:

${\pi }^{\ast }=\mathrm{Arkansasgramoramoramoramoramoramoramoramoramo}\underset{\pi }{\mathrm{máximo}}\underset{\tau \sim \pi }{\mathrm{mi}}\left[\sum _{a=0}^{\infty }{\gamma }^a\right(R(s_a,a_a,s_{a+1})+\alpha yo(\pi (\cdot |s_a)))]$

en $\alpha >0$ es el coeficiente de compensación.
Función de valor estatal que incluye recompensa de entropía en cada paso de tiempo$V^{\pi }$ para:

$V^{\pi }(s)=\underset{\tau \sim \pi }{\mathrm{mi}}\left[\sum _{a=0}^{\infty }{\gamma }^a\right(R(s_a,a_a,s_{a+1})+\alpha yo(\pi (\cdot |s_a)))|s_0=s]$

Una función de valor de acción que incluye la recompensa de entropía para cada paso de tiempo excepto el primer paso de tiempo. $Q^{\pi }$:

$Q^{\pi }(s,a)=\underset{\tau \sim \pi }{\mathrm{mi}}\left[\sum _{a=0}^{\infty }{\gamma }^a\right(R(s_a,a_a,s_{a+1})+\alpha \sum _{a=1}^{\infty }yo(\pi (\cdot |s_a)))|s_0=s,a_0=a]$

• algunos papeles $Q^{\pi }$ Contiene la recompensa de entropía para el primer paso.

$V^{\pi }$ y$Q^{\pi }$ La relación entre es:

$V^{\pi }(s)=\underset{a\sim \pi }{\mathrm{mi}}[Q^{\pi }(s,a)]+\alpha yo(\pi (\cdot |s))$

acerca de $Q^{\pi }$ La fórmula de Bellman es:

$\begin{array}{rl}{Q}^{\pi }(s,a)& =\underset{\genfrac{}{}{0ex}{}{s^{\prime }\sim PAGAG}{a^{\prime }\sim \pi }}{\mathrm{mi}}[R(s,a,s^{\prime })+\gamma (Q^{\pi }(s^{\prime },a^{\prime })+\alpha yo(\pi (\cdot |s^{\prime })))]\\ & =\underset{s^{\prime }\sim PAGAG}{\mathrm{mi}}[R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })]\end{array}$

SAC aprende una política simultáneamente ${\pi }_{\theta }$ y dos$Q$ función$Q_{{\varphi }_1},Q_{{\varphi }_2}$。
Actualmente existen dos variantes del SAC estándar: una utiliza un sistema fijoCoeficiente de regularización de entropía $\alpha$, otro cambiando durante el entrenamiento $\alpha$ para imponer restricciones de entropía.
La documentación de OpenAI utiliza una versión con un coeficiente de regularización de entropía fijo, pero en la práctica suele preferirserestricción de entropíavariante.

Como se muestra a continuación, en $\alpha$ En la versión fija, a excepción de la última imagen que tiene ventajas obvias, las demás solo tienen ligeras ventajas, básicamente las mismas que$\alpha$ La versión de aprendizaje sigue siendo la misma;$\alpha$ Las dos imágenes del medio donde la versión de aprendizaje tiene ventajas son más obvias.

Fuente de imagen

SAC ContraTD3:
  ~  
Mismo punto:
1. Ambas funciones Q se aprenden minimizando MSBE (error cuadrático medio de Bellman) mediante regresión a un único objetivo compartido.
2. Utilice la red Q objetivo para calcular el objetivo compartido y realice un promedio Polyak en los parámetros de la red Q durante el proceso de entrenamiento para obtener la red Q objetivo.
3. El objetivo compartido utiliza la técnica de la doble Q truncada.
  ~  
diferencia:
1. SAC contiene un término de regularización de entropía
2. La siguiente acción estatal utilizada en el objetivo del SAC proviene deEstrategia actual, en lugar de la estrategia objetivo.
3. No existe una estrategia objetivo clara para la suavización. TD3 entrena una política determinista a través de acciones hacia el próximo estadoAgregar ruido aleatorio para lograr suavidad. SAC entrena una política aleatoria y el ruido de la aleatoriedad es suficiente para lograr efectos similares.

Pseudocódigo del algoritmo SAC

Algoritmo: SAC actor-crítico suave
ingresar:${\theta }_1,{\theta }_2,\varphi$ Parámetros de inicialización
Inicialización de parámetros:
       ~~~~~~       Inicialice los pesos de la red de destino:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       El grupo de reproducción se inicializa para que esté vacío:$\mathcal{D}\leftarrow \varnothing$
$\mathbf{para}$ cada iteración$\mathbf{hacer}$ ：
       ~~~~~~       $\mathbf{para}$ Cada paso del entorno$\mathbf{hacer}$ ：
            ~~~~~~~~~~~            Acciones de ejemplo de una política: $a_a\sim {\pi }_{\varphi }(a_a|s_a)$ ▢Aquí ${\pi }_{\varphi }(a_a|s_a)$ ¿Cómo definir?
            ~~~~~~~~~~~            Ejemplos de transiciones del entorno:$s_{a+1}\sim pag(s_{a+1}|s_a,a_a)$
            ~~~~~~~~~~~            Guarde la transición al grupo de reproducción: $\mathcal{D}\leftarrow \mathcal{D}\cup \{(s_a,a_a,a(s_a,a_a),s_{a+1})\}$
       ~~~~~~       $\mathbf{fin}\mathbf{para}$
       ~~~~~~       $\mathbf{para}$ Cada paso de gradiente$\mathbf{hacer}$ ：
            ~~~~~~~~~~~            renovar $Q$ Parámetros de función: para yo ∈ { 1 , 2 } yo en {1,2}i∈{1,2}，${\theta }_i\leftarrow {\theta }_i-{\lambda }_Q{\hat{\nabla }}_{{\theta }_i}{Yo}_Q({\theta }_i)$ ▢Aquí ${Yo}_Q({\theta }_i)$ ¿Cómo definir?
            ~~~~~~~~~~~            Actualizar pesos de estrategia: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{Yo}_{\pi }(\varphi )$ ▢Aquí ${Yo}_{\pi }(\varphi )$ ¿Cómo definir?
            ~~~~~~~~~~~            Ajustar la temperatura: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }Yo(\alpha )$ ▢Aquí $Yo(\alpha )$ ¿Cómo definir?¿Cómo entender la temperatura aquí?
            ~~~~~~~~~~~             Actualizar pesos de red de destino: para yo ∈ { 1 , 2 } yo en {1,2}i∈{1,2}，${\bar{\theta }}_i\leftarrow \tau {\theta }_i-(1-\tau ){\bar{\theta }}_i$ ▢ Cómo entender esto $\tau$ ? ——&gt;Coeficiente de suavizado objetivo
       ~~~~~~       $\mathbf{fin}\mathbf{para}$
$\mathbf{fin}\mathbf{para}$
Producción:${\theta }_1,{\theta }_1,\varphi$Parámetros optimizados

$\hat{\nabla }$: gradiente estocástico

$emptyset$$\varnothing$

Aprender a caminar mediante el aprendizaje de refuerzo profundo Versión en:
  ~  

$\alpha$ es el parámetro de temperatura, que determina la importancia relativa del término de entropía y la recompensa, controlando así la aleatoriedad de la estrategia óptima.
$\alpha$ Grande: explorar
$\alpha$ Pequeño: explotar

$Yo(\alpha )=\underset{a_a\sim {\pi }_a}{\mathbb{mi}}[-\alpha \mathrm{Logramoramoramoramoramoramoramoramoramo}{\pi }_a(a_a|s_a)-\alpha \overline{\mathcal{yo}}]$