Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• organização de notas da versão PDF easy-rl P5, P10 - P12
• suplemento de comparação joyrl P11-P13
• Organização de documentos OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Baixar versão mais recente em PDF
Endereço: https://github.com/datawhalechina/easy-rl/releases
Endereço doméstico (recomendado para leitores nacionais)：
Link: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Código de extração: us6a

link da versão online easy-rl (para copiar o código)
Link de referência 2: https://datawhalechina.github.io/joyrl-book/

outro:
[Link de registro de errata]
——————
5. Noções básicas de aprendizagem por reforço profundo ⭐️
Conteúdo de código aberto: https://linklearner.com/learn/summary/11
——————————

Fonte da imagem

Otimização de política proximal (PPO)

Estratégia idêntica: O agente a ser aprendido e o agente que interage com o ambiente são os mesmos.
Estratégias heterogêneas: o agente que aprende e o agente que interage com o ambiente são diferentes

Gradiente de política: leva muito tempo para amostrar dados

mesma estratégia $\stackrel{amostragem\; de\; importância}{⟹}$ estratégias diferentes

PPO: Evite duas distribuições que diferem muito. mesmo algoritmo de estratégia
1. Itens de otimização originais$Eu(\theta ,{\theta }^{\prime })$
2. Itens de restrição:$\theta$ e${\theta }^{\prime }$ A divergência KL da ação de saída ($\theta$ e${\theta }^{\prime }$ Quanto mais parecido melhor)

O PPO tem um antecessor: otimização de política de região de confiança (TRPO)
O TRPO é difícil de lidar porque trata a restrição de divergência KL como uma restrição adicional e não é colocada na função objetivo, por isso é difícil de calcular. Portanto, geralmente usamos PPO em vez de TRPO. O desempenho do PPO e do TRPO é semelhante, mas o PPO é muito mais fácil de implementar do que o TRPO.

Divergência KL: distância de ação.Distribuição de probabilidade de realizar uma ação distância.

Existem duas variantes principais do algoritmo PPO: penalidade de otimização de política proximal (penalidade PPO) e recorte de otimização de política proximal (clip PPO).

——————————
Problema de recompensa escassa P10
1. Crie recompensas. Requer conhecimento de domínio
Que tal atribuir a recompensa final a cada ação relevante?

2. Curiosidade
Módulo de curiosidade intrínseca (ICM)
digitar:$a_{para},e_{para}$
Saída:${\hat{e}}_{para+1}$
O valor previsto da rede${\hat{e}}_{para+1}$ com valor verdadeiro$e_{para+1}$ Quanto mais diferentes forem, mais$r_{para}^{eu}$ O maior

$r_{para}^{eu}$ : Quanto mais difícil for prever o estado futuro, maior será a recompensa pela ação. Incentive a aventura e a exploração.

• O indicador é muito único e você só pode aprender coisas inúteis.

extrator de recursos

Rede 2:
Entrada: vetor$\mathbf{\varphi }(e_{para})$ e$\mathbf{\varphi }(e_{para+1})$

Prever ações $\hat{a}$ Quanto mais próximo da ação real, melhor.

3. Estudo do curso

Fácil -> Difícil

Aprendizagem curricular reversa:
Começando pelo estado final mais ideal [chamamos de estado ouro], vá paraEncontre o estado mais próximo do estado dourado Como um estado "ideal" encenado que você deseja que o agente alcance. É claro que iremos remover intencionalmente alguns estados extremos neste processo, ou seja, estados que são demasiado fáceis ou demasiado difíceis.

4. Aprendizagem por reforço hierárquico (HRL)
A estratégia do agente é dividida em estratégias de alto nível e estratégias de baixo nível. A estratégia de alto nível determina como executar a estratégia de baixo nível com base no estado atual.

————————
P11 Aprendizagem por imitação
Não tenho certeza sobre a cena da recompensa

Aprendizagem por imitação (IL)
aprendendo com a demonstração
Aprendizagem de aprendizagem
aprendendo assistindo

Existem recompensas claras: jogos de tabuleiro, videogames
Incapaz de oferecer recompensas claras: chatbot

Colete demonstrações de especialistas: registros de condução humana, conversas humanas

Inversamente, que tipo de função de recompensa o especialista executa nessas ações?
A aprendizagem por reforço inverso éPrimeiro encontre a função de recompensa, depois de encontrar a função de recompensa, use o aprendizado por reforço para encontrar o ator ideal.

Tecnologia de aprendizagem por imitação de terceira pessoa

————————
P12 Gradiente de política determinística profunda (DDPG)

Use estratégia de repetição de experiência

Análise do Experimento de Ablação [Método de Variável Controlada]cada restriçãoimpacto no resultado da batalha.

---

alegria：

DDPG_contínuo

em necessidadecertezaestratégia eação contínuaSob a premissa de espaço, este tipo de algoritmo será um algoritmo de linha de base relativamente estável.

DQN para espaços de ação contínua

Algoritmo de gradiente de política determinístico profundo (DDPG)

O mecanismo de repetição da experiência pode reduzir a correlação entre as amostras, melhorar a utilização eficaz das amostras e aumentar a estabilidade do treinamento.

deficiência:
1. Não pode ser usado em espaço de ação discreto
2、Altamente dependente de hiperparâmetros
3. Condições iniciais altamente sensíveis. Afeta a convergência e o desempenho do algoritmo
4. É fácil atingir o ótimo local.

• Devido à adoção de uma estratégia determinística, o algoritmo pode cair em um ótimo local e dificultar a localização da estratégia ótima global. Para aumentar a explorabilidade, algumas medidas precisam ser tomadas, como adicionar estratégias de ruído ou utilizar outros métodos de exploração.

A vantagem da atualização suave é que ela é mais suave e lenta, o que pode evitar choques causados ​​por atualizações de peso muito rápidas e reduzir o risco de divergência de treinamento.

Algoritmo de gradiente de política determinística com atraso duplo (DDPG com atraso duplo, TD3)

Algoritmo de gradiente de política determinística de atraso duplo

Três melhorias: rede Double Q, atualização atrasada, regularização de ruído
Rede Dupla Q : Duas redes Q, escolha aquela com menor valor Q. Para lidar com o problema de superestimação do valor Q e melhorar a estabilidade e convergência do algoritmo.

Atualização atrasada: deixe a frequência de atualização do ator ser menor que a frequência de atualização crítica

• Pense duas vezes

O ruído é mais parecido com umRegularizaçãode tal maneira queatualização da função de valormaissuave

Biblioteca de ginásio OpenAI_Pendulum_TD3

Link da interface do documento OpenAI sobre TD3

Link para PDF em papel TD3

PPO_Espaço de ação contínua/discreta [OpenAI 201708]

O algoritmo PPO mais comumente usado na aprendizagem por reforço
Discreto + contínuo
Parâmetros rápidos e estáveis, fáceis de ajustar
algoritmo de linha de base

PPO indeciso

Na prática, as restrições de clipe são geralmente utilizadas porque são mais simples, têm menor custo computacional e apresentam melhores resultados.

O algoritmo fora da política podeaproveitar a experiência histórica, geralmente usam a repetição da experiência para armazenar e reutilizar experiências anteriores,A eficiência da utilização de dados é alta。

PPO é um algoritmo de acordo com a política

• Embora a parte da amostragem de importância utilize amostras da antiga amostragem de atores,Essas amostras não são usadas diretamente para atualizar a estratégia. , em vez disso, a amostragem por importância é usada para primeiro corrigir os erros causados ​​​​por diferentes distribuições de dados, mesmo que a diferença entre as duas distribuições amostrais seja reduzida tanto quanto possível.Em outras palavras, pode-se entender que embora as amostras após amostragem de importância sejam obtidas por amostragem pela estratégia antiga, elas podemAproximadamente obtido da política atualizada, ou seja, o ator que queremos otimizar e o ator que amostramos são iguais.

——————————————————

—— Documentação OpenAI_PPO

Documentação OpenAI
Link da interface arXiv em papel: Algoritmos de otimização de política proximal

PPO: algoritmo on-policy, adequado para espaços de ação discretos ou contínuos.Possível ótimo local

A motivação para o PPO é a mesma do TRPO: como aproveitar os dados existentesDê o maior passo de melhoria possível em sua estratégia, sem alterá-lo muito e causar acidentalmente uma falha no desempenho?
O TRPO tenta resolver este problema com uma abordagem sofisticada de segunda ordem, enquanto o PPO é uma abordagem de primeira ordem que utiliza alguns outros truques para manter a nova estratégia próxima da antiga.
O método PPO é muito mais simples de implementar e, empiricamente, tem um desempenho pelo menos tão bom quanto o TRPO.

Existem duas variações principais de PPO: PPO-Penalty e PPO-Clip.

• A penalidade PPO resolve aproximadamente as atualizações de restrição KL como TRPO, mas penaliza a divergência KL na função objetivo em vez de torná-la uma restrição rígida e ajusta automaticamente o coeficiente de penalidade durante o treinamento para que seja dimensionado adequadamente.
• O PPO-Clip não tem divergência KL nem restrições na função objetivo. Em vez disso, baseia-se na adaptação específica da função objectivo para remover o incentivo para que a nova estratégia se afaste da antiga estratégia.
  PPO-Clip (principal variante usada pelo OpenAl).

Pseudocódigo do algoritmo PPO-Clip

Algoritmo: Clipe PPO
1: Entrada: parâmetros iniciais da estratégia${\theta }_0$, parâmetros de função de valor inicial ${\varphi }_0$
2：$\mathbf{para}o=0,1,2,\dots \mathbf{fazer}$：
3：        ~~~~~~       Executando a política no ambiente ${\pi }_o=\pi ({\theta }_o)$ Coletar conjunto de trajetória D k = { τ i } {cal D}_k={tau_i}Eo​={τeu​}
4：        ~~~~~~       Calcular recompensas (recompensas futuras) ${\hat{R}}_{para}$ ▢ ${\hat{R}}_{para}$ regras de cálculo
5：        ~~~~~~       Estimativa de vantagem computacional, com base na função de valor atual $V_{{\varphi }_o}$ de${\hat{A}}_{para}$ (Use qualquer método de estimativa de dominância)       ~~~~~       ▢ Quais são os métodos atuais de estimativa de vantagens?
6：        ~~~~~~       Atualize a política maximizando a função objetivo PPO-Clip:
            ~~~~~~~~~~~            
${\theta }_{o+1}=\arg \underset{\theta }{máx.}\frac{1}{|{\mathcal{E}}_o|E}\sum _{\tau \in {\mathcal{E}}_o}\sum _{para=0}^E\mathrm{mínimo}(\frac{{\pi }_{\theta }(a_{para}|e_{para})}{{\pi }_{{\theta }_o}(a_{para}|e_{para})}{A}^{{\pi }_{{\theta }_o}}(e_{para},a_{para}),g(ϵ,A^{{\pi }_{{\theta }_o}}(e_{para},a_{para})))$       ~~~~~       ▢ Como determinar a fórmula de atualização da estratégia?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_o}$ : Vetor de parâmetros de estratégia antes da atualização. Amostragem de importância. Amostragem de estratégias antigas.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Ascensão do Gradiente Estocástico Geral + Adam
7：        ~~~~~~       erro quadrático médiofunção de valor ajustado de regressão:
            ~~~~~~~~~~~            
${\varphi }_{o+1}=\arg \underset{\varphi }{\mathrm{mínimo}}\frac{1}{|{\mathcal{E}}_o|E}\sum _{\tau \in {\mathcal{E}}_o}\sum _{para=0}^E(V_{\varphi }(e_{para})-{\hat{R}}_{para}{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Descida gradiente geral
8：$\mathbf{fim}\mathbf{para}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$g(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

No papelEstimativa de vantagem:

${\hat{A}}_{para}=-V(e_{para})+\underset{{\hat{R}}_{para}???}{\underbrace{r_{para}+\gamma r_{para+1}+\cdots +{\gamma }^{E-para+1}{r}_{E-1}+{\gamma }^{E-para}V(e_E)}}$

fazer ${\Delta }_{para}=r_{para}+\gamma V(e_{para+1})-V(e_{para})$
mas$r_{para}={\Delta }_{para}-\gamma V(e_{para+1})+V(e_{para})$

Substituto ${\hat{A}}_{para}$ expressão

$\begin{array}{rl}{\hat{A}}_{para}& =-V(e_{para})+r_{para}+\gamma r_{para+1}+{\gamma }^2{r}_{para+2}+\cdots +{\gamma }^{E-para}{r}_{E-2}+{\gamma }^{E-para+1}{r}_{E-1}+{\gamma }^{E-para}V(e_E)\\ & =-V(e_{para})+r_{para}+\gamma r_{para+1}+\cdots +{\gamma }^{E-para+1}{r}_{E-1}+{\gamma }^{E-para}V(e_E)\\ & =-V(e_{para})+\\ & {\Delta }_{para}-\gamma V(e_{para+1})+V(e_{para})+\\ & \gamma ({\Delta }_{para+1}-\gamma V(e_{para+2})+V(e_{para+1}))+\\ & {\gamma }^2({\Delta }_{para+2}-\gamma V(e_{para+3})+V(e_{para+1}))+\\ & \cdots +\\ & {\gamma }^{E-para}({\Delta }_{E-para}-\gamma V(e_{E-para+1})+V(e_{E-para}))+\\ & {\gamma }^{E-para+1}({\Delta }_{E-1}-\gamma V(e_E)+V(e_{E-1}))+\\ & {\gamma }^{E-para}V(e_E)\\ & ={\Delta }_{para}+\gamma {\Delta }_{para+1}+{\gamma }^2{\Delta }_{para+2}+\cdots +{\gamma }^{E-para}{\Delta }_{E-para}+{\gamma }^{E-para+1}{\Delta }_{E-1}\end{array}$

O clipping atua como um regularizador, removendo o incentivo para mudanças drásticas nas políticas.hiperparâmetros $ϵ$ Corresponde à distância entre a nova estratégia e a antiga estratégia。

Ainda é possível que esse tipo de recorte acabe resultando em uma nova estratégia que está longe da estratégia antiga. Na implementação aqui, usamos um método particularmente simples:Pare cedo . Se a divergência KL média da nova política em relação à política antiga exceder um limite, paramos de executar a etapa de gradiente.

Link de derivação simples da função objetivo PPO
A função objetivo do PPO-Clip é:
  ~  
${eu}_{{\theta }_o}^{\mathrm{GRAMPO}}(\theta )=\underset{e,a\sim {\theta }_o}{E}\left[\mathrm{mínimo}\right(\frac{{\pi }_{\theta }(a|e)}{{\pi }_{{\theta }_o}(a|e)}{A}^{{\theta }_o}(e,a),\mathrm{grampo}(\frac{{\pi }_{\theta }(a|e)}{{\pi }_{{\theta }_o}(a|e)},1-ϵ,1+ϵ)A^{{\theta }_o}(e,a)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{e,a\sim {\theta }_o}{E}$
  ~  
Não.$o$ Parâmetros de estratégia para iterações${\theta }_o$， $ϵ$ é um pequeno hiperparâmetro.
configurar$ϵ\in (0,1)$, definição
$F(r,A,ϵ)\doteq \mathrm{mínimo}(rA,\mathrm{grampo}(r,1-ϵ,1+ϵ)A)$
quando $A\ge 0$
$\begin{array}{rl}F(r,A,ϵ)& =\mathrm{mínimo}(rA,\mathrm{grampo}(r,1-ϵ,1+ϵ)A)\\ & =A\mathrm{mínimo}(r,\mathrm{grampo}(r,1-ϵ,1+ϵ))\\ & =A\mathrm{mínimo}(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \mathrm{mínimo}(r,1+ϵ)& r\ge 1+ϵ\\ & \mathrm{mínimo}(r,r)& r\in (1-ϵ,1+ϵ)\\ & \mathrm{mínimo}(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & r& r\le 1-ϵ\end{array}\right\}De\; acordo\; com\; o\; intervalo\; à\; direita\\ & =A\mathrm{mínimo}(r,1+ϵ)\\ & =\mathrm{mínimo}(rA,(1+ϵ)A)\end{array}$
  ~  
quando $A<0$
$\begin{array}{rl}F(r,A,ϵ)& =\mathrm{mínimo}(rA,\mathrm{grampo}(r,1-ϵ,1+ϵ)A)\\ & =A\mathrm{euax}(r,\mathrm{grampo}(r,1-ϵ,1+ϵ))\\ & =Amáx.(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& máx.(r,1+ϵ)& r\ge 1+ϵ\\ & máx.(r,r)& r\in (1-ϵ,1+ϵ)\\ & máx.(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& r& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\}De\; acordo\; com\; o\; intervalo\; à\; direita\\ & =Amáx.(r,1-ϵ)\\ & =\mathrm{eueunão}(rA,(1-ϵ)A)\end{array}$
  ~  
Resumindo: definível$g(ϵ,A)$
$g(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

Porque é que esta definição impede que a nova estratégia se afaste demasiado da antiga estratégia?
Métodos eficazes de amostragem por importância exigem novas estratégias ${\pi }_{\theta }(a|e)$ e velhas estratégias${\pi }_{{\theta }_o}(a|e)$ A diferença entre as duas distribuições não pode ser muito grande

1. Quando a vantagem é positiva

$eu(e,a,{\theta }_o,\theta )=\mathrm{mínimo}(\frac{{\pi }_{\theta }(a|e)}{{\pi }_{{\theta }_o}(a|e)},1+ϵ)A^{{\pi }_{{\theta }_o}}(e,a)$
Função vantagem: Encontre um determinado par estado-ação com mais recompensas -&gt; aumente o peso do par estado-ação.

Quando um par estado-ação $(e,a)$ é positivo, então se a ação$a$ é mais provável que seja executado, ou seja, se${\pi }_{\theta }(a|e)$ Aumente e a meta aumentará.
min neste item limita a função objetivo a aumentar apenas até um determinado valor
uma vez${\pi }_{\theta }(a|e)>(1+ϵ){\pi }_{{\theta }_o}(a|e)$, min triggers, limitando o valor deste item a $(1+ϵ){\pi }_{{\theta }_o}(a|e)$。
a nova política não se beneficia por se distanciar muito da antiga.
A nova estratégia não beneficiará do afastamento da antiga estratégia.

2. Quando a vantagem é negativa

$eu(e,a,{\theta }_o,\theta )=máx.(\frac{{\pi }_{\theta }(a|e)}{{\pi }_{{\theta }_o}(a|e)},1-ϵ)A^{{\pi }_{{\theta }_o}}(e,a)$

Quando um par estado-ação $(e,a)$ A vantagem é negativa, então se a ação$a$ é ainda menos provável, isto é, se${\pi }_{\theta }(a|e)$ diminuir, a função objetivo aumentará. Mas o máximo neste termo limita o quanto a função objetivo pode ser aumentada.
uma vez${\pi }_{\theta }(a|e)<(1-ϵ){\pi }_{{\theta }_o}(a|e)$, máximo de gatilhos, limitando o valor deste item a $(1-ϵ){\pi }_{{\theta }_o}(a|e)$。

Mais uma vez: a nova política não beneficia de se afastar muito da antiga política.
A nova estratégia não beneficiará do afastamento da antiga estratégia.

TD3_apenas consecutivo: Gradiente de política determinística profunda e atrasada dupla [ICML 2018 (Canadá) Universidade McGill]

Fonte da imagem

Documentação OpenAI_TD3
Link de papel

Embora o DDPG às vezes possa atingir um desempenho excelente, muitas vezes é instável quando se trata de hiperparâmetros e outros tipos de ajuste.
Um modo de falha comum do DDPG é que a função Q aprendida começa a superestimar significativamente o valor Q, o que causa a quebra da política porque explora o erro na função Q.
Twin Delayed DDPG (TD3) é um algoritmo que resolve esse problema introduzindo três técnicas principais:
1、Q-Learning duplo truncado。

• O TD3 aprende duas funções Q em vez de uma (daí o "gêmeo") e usa o menor dos dois valores Q para formar o alvo na função de perda de erro de Bellman.

2、Atraso na atualização da política。

• O TD3 atualiza a política (e a rede de destino) com menos frequência do que a função Q. O artigo recomenda atualizar a política sempre que a função Q for atualizada duas vezes.

3. Suavização da estratégia alvo.

• O TD3 adiciona ruído à ação alvo, tornando mais difícil para a política explorar erros na função Q, suavizando Q nas mudanças de ação.

TD3 é um algoritmo fora da política e só pode ser usado com;contínuoO ambiente do espaço de ação.

Pseudocódigo do algoritmo TD3

Algoritmo: TD3
Use parâmetros aleatórios${\theta }_1,{\theta }_2,\varphi$ Inicializar rede crítica${Pq}_{{\theta }_1},{Pq}_{{\theta }_2}$e rede de atores ${\pi }_{\varphi }$
Inicializar rede de destino${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Inicializar conjunto de buffers de reprodução$\mathcal{B}$
$\mathbf{para}para=1\mathbf{para}E$ ：
       ~~~~~~       Selecione a ação com ruído de exploração $a\sim {\pi }_{\varphi }(e)+ϵ,ϵ\sim \mathcal{Nãoãoãoãoão}(0,\sigma )$, recompensa de observação $r$ e novo estatuto$e^{\prime }$
       ~~~~~~       A tupla de transição $(e,a,r,e^{\prime })$ depositar em$\mathcal{B}$ meio
       ~~~~~~       de $\mathcal{B}$ Amostragem de pequenos lotes$Nãoãoãoãoão$ transições$(e,a,r,e^{\prime })$
$\tilde{a}\leftarrow {\pi }_{{\varphi }^{\prime }}(e^{\prime })+ϵ,ϵ\sim \mathrm{grampo}(\mathcal{Nãoãoãoãoão}(0,\tilde{\sigma }),-c,c)$
$e\leftarrow r+\gamma \underset{eu=1,2}{\mathrm{mínimo}}{Pq}_{{\theta }_{eu}^{\prime }}(e^{\prime },\tilde{a})$
       ~~~~~~       Críticos de atualização ${\theta }_{eu}\leftarrow \arg \underset{{\theta }_{eu}}{\mathrm{mínimo}}{Nãoãoãoãoão}^{-1}\sum (e-{Pq}_{{\theta }_{eu}}(e,a){)}^2$
       ~~~~~~        $\mathbf{se}para\%e$：
            ~~~~~~~~~~~            Atualização via gradiente de política determinística $\varphi$
${\nabla }_{\varphi }Eu(\varphi )={Nãoãoãoãoão}^{-1}\sum {\nabla }_a{Pq}_{{\theta }_1}(e,a){|}_{a={\pi }_{\varphi }(e)}{\nabla }_{\varphi }{\pi }_{\varphi }(e)$
            ~~~~~~~~~~~            Atualizar rede de destino:
${\theta }_{eu}^{\prime }\leftarrow \tau {\theta }_{eu}+(1-\tau ){\theta }_{eu}^{\prime }$$\tau$: Taxa de atualização desejada
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{fim}\mathbf{se}$
$\mathbf{fim}\mathbf{para}$

Soft Actor-Critic: SAC_Continuous/Discrete Action Space [versão mais recente do Google Brain 201906]

Fonte da imagem

Maximize a entropia da política, tornando-a mais robusta.

estratégia determinística Isso significa que dado o mesmo estado, escolha sempre a mesma ação
estratégia de aleatoriedade Isso significa que existem muitas ações possíveis que podem ser selecionadas em um determinado estado.

Na aplicação real, se as condições permitirem, iremosTente usarestratégia de aleatoriedade, como A2C, PPO, etc., porque é mais flexível, mais robusto e mais estável.

A aprendizagem por reforço de entropia máxima acredita que, embora atualmente tenhamos estratégias de aleatoriedade maduras, nomeadamente algoritmos como AC, ainda não alcançamos a aleatoriedade ideal.Portanto, introduz umaentropia de informaçãoconceito, emMaximize a recompensa cumulativa enquanto maximiza a entropia da política, tornando a estratégia mais robusta e alcançando a estratégia ótima de aleatoriedade.

——————————————————

—— Documentação OpenAI_SAC

Link da interface OpenAI Documentation_SAC
  ~  
Soft Actor-Critic: Aprendizado por Reforço Profundo de Máxima Entropia Fora da Política com um Ator Estocástico, Haarnoja et al, 201808 ICML 2018
Algoritmos e aplicações de ator-crítico suave, Haarnoja et al, 201901
Aprendendo a andar por meio do aprendizado de reforço profundo, Haarnoja et al, 201906 RSS2019

Soft Actor Critic (SAC) otimiza estratégias aleatórias de maneira fora da política.

DDPG + otimização de estratégia estocástica

Não é um sucessor direto do TD3 (lançado na mesma época).

Ele incorpora o truque do duplo Q cortado e, devido à aleatoriedade inerente à estratégia do SAC, também se beneficia, em última análise, desuavização da política alvo。

Uma característica central do SAC é regularização de entropia regularização de entropia。
A política é treinada para maximizar o equilíbrio entre a recompensa esperada e a entropia,Entropia é uma medida da aleatoriedade de uma política。
Isto está intimamente relacionado com o compromisso entre exploração e exploração: um aumento na entropia leva aMais para explorar, está tudo bemAcelere o aprendizado subsequente .tudo bemEvitar que a política convirja prematuramente para um ótimo local ruim。

Ele pode ser usado tanto em espaço de ação contínua quanto em espaço de ação discreto.

existir Aprendizagem por reforço regularizada por entropia, o agente obtém eA entropia da política nesta etapa de tempoRecompensas proporcionais.
Neste momento o problema RL é descrito como:

${\pi }^{\ast }=\arg \underset{\pi }{máx.}\underset{\tau \sim \pi }{E}\left[\sum _{para=0}^{\infty }{\gamma }^{para}\right(R(e_{para},a_{para},e_{para+1})+\alpha O(\pi (\cdot |e_{para})))]$

em $\alpha >0$ é o coeficiente de compensação.
Função de valor de estado incluindo recompensa de entropia em cada intervalo de tempo$V^{\pi }$ para:

$V^{\pi }(e)=\underset{\tau \sim \pi }{E}\left[\sum _{para=0}^{\infty }{\gamma }^{para}\right(R(e_{para},a_{para},e_{para+1})+\alpha O(\pi (\cdot |e_{para})))|e_0=e]$

Uma função de valor de ação que inclui a recompensa de entropia para cada intervalo de tempo, exceto o primeiro ${Pq}^{\pi }$:

${Pq}^{\pi }(e,a)=\underset{\tau \sim \pi }{E}\left[\sum _{para=0}^{\infty }{\gamma }^{para}\right(R(e_{para},a_{para},e_{para+1})+\alpha \sum _{para=1}^{\infty }O(\pi (\cdot |e_{para})))|e_0=e,a_0=a]$

• alguns papéis ${Pq}^{\pi }$ Contém a recompensa de entropia para a primeira etapa

$V^{\pi }$ e${Pq}^{\pi }$ A relação entre é:

$V^{\pi }(e)=\underset{a\sim \pi }{E}[{Pq}^{\pi }(e,a)]+\alpha O(\pi (\cdot |e))$

sobre ${Pq}^{\pi }$ A fórmula de Bellman é:

$\begin{array}{rl}{Pq}^{\pi }(e,a)& =\underset{\genfrac{}{}{0ex}{}{e^{\prime }\sim P}{a^{\prime }\sim \pi }}{E}[R(e,a,e^{\prime })+\gamma ({Pq}^{\pi }(e^{\prime },a^{\prime })+\alpha O(\pi (\cdot |e^{\prime })))]\\ & =\underset{e^{\prime }\sim P}{E}[R(e,a,e^{\prime })+\gamma V^{\pi }(e^{\prime })]\end{array}$

SAC aprende uma política simultaneamente ${\pi }_{\theta }$ e dois$Pq$ função${Pq}_{{\varphi }_1},{Pq}_{{\varphi }_2}$。
Atualmente existem duas variantes do SAC padrão: uma utiliza um valor fixoCoeficiente de regularização de entropia $\alpha$, outro mudando durante o treinamento $\alpha$ para impor restrições de entropia.
A documentação da OpenAI usa uma versão com coeficiente de regularização de entropia fixo, mas na prática é frequentemente preferidarestrição de entropiavariante.

Como mostrado abaixo, em $\alpha$ Na versão fixa, com exceção da última foto que apresenta vantagens óbvias, as demais apresentam apenas pequenas vantagens, basicamente iguais às$\alpha$ A versão de aprendizagem permanece a mesma durante o uso;$\alpha$ As duas imagens do meio, onde a versão de aprendizagem tem vantagens, são mais óbvias.

Fonte da imagem

SAC ContraTD3:
  ~  
Mesmo ponto:
1. Ambas as funções Q são aprendidas minimizando o MSBE (Mean Squared Bellman Error) por regressão a um único objetivo compartilhado.
2. Use a rede Q alvo para calcular o alvo compartilhado e execute a média polyak nos parâmetros da rede Q durante o processo de treinamento para obter a rede Q alvo.
3. O alvo compartilhado usa a técnica de Q duplo truncado.
  ~  
diferença:
1. SAC contém termo de regularização de entropia
2. A próxima ação estatal utilizada na meta do SAC vemEstratégia atual, em vez da estratégia-alvo.
3. Não existe uma estratégia clara para a suavização. TD3 treina uma política determinística passando para o próximo estadoAdicionar ruído aleatório para alcançar suavidade. O SAC treina uma política aleatória, e o ruído da aleatoriedade é suficiente para obter efeitos semelhantes.

Pseudocódigo do algoritmo SAC

Algoritmo: SAC Soft Ator-Crítico
digitar:${\theta }_1,{\theta }_2,\varphi$ Parâmetros de inicialização
Inicialização de parâmetros:
       ~~~~~~       Inicialize os pesos da rede de destino:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       O pool de reprodução é inicializado para estar vazio:$\mathcal{E}\leftarrow \varnothing$
$\mathbf{para}$ cada iteração$\mathbf{fazer}$ ：
       ~~~~~~       $\mathbf{para}$ Cada etapa do ambiente$\mathbf{fazer}$ ：
            ~~~~~~~~~~~            Exemplos de ações de uma política: $a_{para}\sim {\pi }_{\varphi }(a_{para}|e_{para})$ ▢Aqui ${\pi }_{\varphi }(a_{para}|e_{para})$ Como definir?
            ~~~~~~~~~~~            Exemplos de transições do ambiente:$e_{para+1}\sim p(e_{para+1}|e_{para},a_{para})$
            ~~~~~~~~~~~            Salve a transição no pool de reprodução: $\mathcal{E}\leftarrow \mathcal{E}\cup \{(e_{para},a_{para},r(e_{para},a_{para}),e_{para+1})\}$
       ~~~~~~       $\mathbf{fim}\mathbf{para}$
       ~~~~~~       $\mathbf{para}$ Cada etapa de gradiente$\mathbf{fazer}$ ：
            ~~~~~~~~~~~            renovar $Pq$ Parâmetros de função: para eu ∈ { 1 , 2 } em {1,2}eu∈{1,2}，${\theta }_{eu}\leftarrow {\theta }_{eu}-{\lambda }_{Pq}{\hat{\nabla }}_{{\theta }_{eu}}{Eu}_{Pq}({\theta }_{eu})$ ▢Aqui ${Eu}_{Pq}({\theta }_{eu})$ Como definir?
            ~~~~~~~~~~~            Atualizar pesos da estratégia: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{Eu}_{\pi }(\varphi )$ ▢Aqui ${Eu}_{\pi }(\varphi )$ Como definir?
            ~~~~~~~~~~~            Ajustar a temperatura: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }Eu(\alpha )$ ▢Aqui $Eu(\alpha )$ Como definir?Como entender a temperatura aqui?
            ~~~~~~~~~~~             Atualizar pesos de rede alvo: para eu ∈ { 1 , 2 } em {1,2}eu∈{1,2}，${\bar{\theta }}_{eu}\leftarrow \tau {\theta }_{eu}-(1-\tau ){\bar{\theta }}_{eu}$ ▢ Como entender isso $\tau$ ? ——&gt; Coeficiente de suavização alvo
       ~~~~~~       $\mathbf{fim}\mathbf{para}$
$\mathbf{fim}\mathbf{para}$
Saída:${\theta }_1,{\theta }_1,\varphi$Parâmetros otimizados

$\hat{\nabla }$: gradiente estocástico

$emptyset$$\varnothing$

Aprendendo a andar por meio do aprendizado de reforço profundo Versão em:
  ~  

$\alpha$ é o parâmetro de temperatura, que determina a importância relativa do termo de entropia e da recompensa, controlando assim a aleatoriedade da estratégia ótima.
$\alpha$ Grande: explorar
$\alpha$ Pequeno: explorar

$Eu(\alpha )=\underset{a_{para}\sim {\pi }_{para}}{\mathbb{E}}[-\alpha \mathrm{eisg}{\pi }_{para}(a_{para}|e_{para})-\alpha \bar{\mathcal{O}}]$