기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl PDF 버전 참고 구성 P5, P10 - P12
• Joyrl 비교 보충 자료 P11-P13
• OpenAI 문서 정리 ⭐ https://spinningup.openai.com/en/latest/index.html

최신 버전 PDF 다운로드
주소: https://github.com/datawhalechina/easy-rl/releases
국내 주소 (국내 독자에게 추천)：
링크: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw 추출 코드: us6a

easy-rl 온라인 버전 링크(코드 복사용)
참고 링크 2: https://datawhalechina.github.io/joyrl-book/

다른:
[에라타 기록 링크]
——————
5. 심층 강화 학습의 기초 ⭐️
오픈 소스 콘텐츠: https://linklearner.com/learn/summary/11
——————————

이미지 출처

PPO(근위 정책 최적화)

동일한 전략: 학습할 에이전트와 환경과 상호작용하는 에이전트가 동일합니다.
이종 전략: 학습할 에이전트와 환경과 상호 작용하는 에이전트가 다릅니다.

정책 변화도: 데이터 샘플링에 많은 시간 필요

같은 전략 $\stackrel{중요도\; 샘플링}{⟹}$ 다양한 전략

PPO: 너무 많이 다른 두 가지 분포를 피하십시오. 동일한 전략 알고리즘
1. 오리지널 최적화 아이템$제이(\theta ,{\theta }^{\prime })$
2. 제약사항 항목:$\theta$ 그리고${\theta }^{\prime }$ 출력 동작의 KL 발산($\theta$ 그리고${\theta }^{\prime }$ 비슷할수록 좋음)

PPO에는 전신인 TRPO(신뢰 지역 정책 최적화)가 있습니다.
TRPO는 KL 발산 제약 조건을 추가 제약 조건으로 취급하고 목적 함수에 배치되지 않으므로 처리하기가 어렵기 때문에 계산이 어렵습니다. 따라서 일반적으로 TRPO 대신 PPO를 사용합니다. PPO와 TRPO의 성능은 비슷하지만 PPO는 TRPO보다 구현하기가 훨씬 쉽습니다.

KL 발산: 행동 거리.행동을 수행할 확률 분포 거리.

PPO 알고리즘에는 근위 정책 최적화 페널티(PPO-penalty)와 근위 정책 최적화 클리핑(PPO-clip)이라는 두 가지 주요 변형이 있습니다.

——————————
P10 희소 보상 문제
1. 디자인 보상. 도메인 지식이 필요합니다
관련된 각 행동에 최종 보상을 할당하는 것은 어떻습니까?

2. 호기심
내재적 호기심 모듈(ICM)
입력하다:${ㅏ}_{티},{에스}_{티}$
산출:${\widehat{에스}}_{티+1}$
네트워크의 예측 값${\widehat{에스}}_{티+1}$ 진정한 가치를 지닌${에스}_{티+1}$ 서로 다른 점이 많을수록${아르\; 자형}_{티}^{나}$ 더 큰 것

${아르\; 자형}_{티}^{나}$ : 미래 상태를 예측하기 어려울수록 행동에 대한 보상이 커집니다. 모험과 탐험을 장려하십시오.

• 지표가 너무 단일하여 쓸모없는 것만 배울 수 있습니다.

특징 추출기

네트워크 2:
입력: 벡터$\mathbf{\varphi }({에스}_{티})$ 그리고$\mathbf{\varphi }({에스}_{티+1})$

행동 예측 $\widehat{ㅏ}$ 실제 행동에 가까울수록 좋습니다.

3. 코스스터디

쉽다 -> 어렵다

역커리큘럼 학습:
마지막으로 가장 이상적인 상태(우리는 그것을 골드 상태라고 부른다)부터 시작해서황금상태에 가장 가까운 상태를 찾아라 에이전트가 도달하기를 원하는 단계적 "이상적인" 상태입니다. 물론, 이 과정에서 일부 극단적인 상태, 즉 너무 쉽거나 너무 어려운 상태를 의도적으로 제거할 것입니다.

4. 계층적 강화 학습(HRL)
에이전트의 전략은 상위 수준 전략과 하위 수준 전략으로 구분되며, 상위 수준 전략은 현재 상태에 따라 하위 수준 전략을 어떻게 실행할 것인지를 결정합니다.

————————
P11 모방학습
보상 장면은 잘 모르겠습니다

모방 학습(IL)
시연을 통해 배운다
견습 학습
보면서 배우기

명확한 보상이 있습니다: 보드 게임, 비디오 게임
명확한 보상을 제공할 수 없음: 챗봇

전문가 시연 수집: 사람의 운전 기록, 사람의 대화

역으로, 전문가는 이러한 행동을 취하는 보상 기능이 무엇입니까?
역 강화 학습은먼저 보상 함수를 찾으세요., 보상 함수를 찾은 후 강화 학습을 사용하여 최적의 행위자를 찾습니다.

3인칭 모방학습 기술

————————
P12 심층 결정론적 정책 그라데이션(DDPG)

경험 재생 전략 사용

절제실험 [제어변수법] 분석모든 제약전투 결과에 영향을 미칩니다.

---

조이럴：

DDPG_연속

필요해서확실성전략과지속적인 행동공간을 전제로 이러한 유형의 알고리즘은 비교적 안정적인 기본 알고리즘이 됩니다.

연속적인 행동 공간을 위한 DQN

심층 결정론적 정책 그라데이션 알고리즘(DDPG)

경험 재생 메커니즘은 샘플 간의 상관 관계를 줄이고, 샘플의 효과적인 활용을 향상시키며, 훈련의 안정성을 높일 수 있습니다.

결점:
1. 개별 행동 공간에서는 사용할 수 없습니다.
2、하이퍼파라미터에 대한 의존도가 높음
3. 매우 민감한 초기 조건. 알고리즘의 수렴과 성능에 영향을 미칩니다.
4. 국소최적상태에 빠지기 쉽다.

• 결정론적 전략의 채택으로 인해 알고리즘이 로컬 최적에 빠질 수 있으며 전역 최적 전략을 찾는 것이 어려울 수 있습니다. 탐색 가능성을 높이려면 노이즈 전략을 추가하거나 다른 탐색 방법을 사용하는 등 몇 가지 조치를 취해야 합니다.

소프트 업데이트의 장점은 더 부드럽고 느리기 때문에 너무 빠른 가중치 업데이트로 인한 충격을 방지하고 훈련 발산의 위험을 줄일 수 있다는 것입니다.

이중 지연 결정론적 정책 그라데이션 알고리즘(쌍 지연 DDPG, TD3)

이중 지연 결정론적 정책 그라데이션 알고리즘

세 가지 개선 사항: Double Q 네트워크, 업데이트 지연, 노이즈 정규화
더블 Q 네트워크 : 두 개의 Q 네트워크, Q 값이 더 작은 네트워크를 선택합니다. Q 값의 과대평가 문제를 처리하고 알고리즘의 안정성과 수렴성을 향상시킵니다.

지연된 업데이트: 액터 업데이트 빈도를 비판 업데이트 빈도보다 낮게 설정합니다.

• 두 번 생각

소음은정규화그런 식으로가치 함수 업데이트더매끄러운

OpenAI 체육관 라이브러리_Pendulum_TD3

TD3에 대한 OpenAI 문서 인터페이스 링크

TD3 논문 PDF 링크

PPO_연속/이산 행동 공간 [OpenAI 201708]

강화학습에서 가장 일반적으로 사용되는 PPO 알고리즘
이산 + 연속
빠르고 안정적이며 매개변수 조정이 용이함
기준 알고리즘

미정 PPO

실제로 클립 제약 조건은 더 간단하고 계산 비용이 낮으며 더 나은 결과를 얻기 때문에 일반적으로 사용됩니다.

정책 외 알고리즘은 다음을 수행할 수 있습니다.역사적 경험을 활용하기 위해, 일반적으로 경험 재생을 사용하여 이전 경험을 저장하고 재사용합니다.데이터 활용 효율이 높다。

PPO는 정책에 따른 알고리즘입니다.

• 중요도 샘플링 부분은 이전 액터 샘플링의 샘플을 사용하지만이러한 샘플은 전략을 업데이트하는 데 직접 사용되지 않습니다. , 그러나 두 표본 분포 간의 차이가 최대한 줄어들더라도 중요도 샘플링을 사용하여 서로 다른 데이터 분포로 인해 발생하는 오류를 먼저 수정합니다.즉, 중요도 샘플링 이후의 샘플은 기존 전략에 의한 샘플링을 통해 얻어졌지만,업데이트된 정책에서 대략적으로 얻은 정보즉, 최적화하려는 액터와 샘플링하는 액터가 동일합니다.

——————————————————

—— OpenAI 문서_PPO

OpenAI 문서
논문 arXiv 인터페이스 링크: 근위 정책 최적화 알고리즘

PPO: 개별 또는 연속 작업 공간에 적합한 온 정책 알고리즘입니다.가능한 로컬 최적

PPO의 동기는 TRPO와 동일합니다: 기존 데이터를 활용하는 방법전략에서 가능한 가장 큰 개선 조치를 취하세요., 너무 많이 변경하여 실수로 성능 충돌을 일으키지 않고?
TRPO는 정교한 2차 접근 방식으로 이 문제를 해결하려고 시도하는 반면, PPO는 새로운 전략을 이전 전략에 가깝게 유지하기 위해 다른 트릭을 사용하는 1차 접근 방식입니다.
PPO 방법은 구현하기가 훨씬 간단하며 경험적으로 적어도 TRPO만큼 성능을 ​​발휘합니다.

PPO에는 PPO-Penalty와 PPO-Clip의 두 가지 주요 변형이 있습니다.

• PPO-Penalty는 TRPO와 같은 KL 제약 조건 업데이트를 대략적으로 해결하지만 목적 함수의 KL-divergence를 하드 제약 조건으로 만드는 대신 페널티를 적용하고 적절하게 확장되도록 훈련 중에 페널티 계수를 자동으로 조정합니다.
• PPO-Clip에는 KL-divergence가 없으며 목적 함수에 제약이 없습니다. 대신, 새로운 전략이 기존 전략에서 벗어나도록 하는 인센티브를 제거하기 위해 목적 함수의 특정 조정에 의존합니다.
  PPO-Clip(OpenAl에서 사용되는 주요 변형).

PPO-Clip 알고리즘 의사 코드

알고리즘: PPO-클립
1: 입력: 초기 전략 매개변수${\theta }_0$, 초기값 함수 매개변수 ${\varphi }_0$
2：$~을\; 위한케이=0,1,2,\dots \mathbf{하다}$：
3：        ~~~~~~       환경에서 정책을 실행하여 ${\pi }_{케이}=\pi ({\theta }_{케이})$ 궤적 세트 수집 D k = {τ i } {칼 D}_k = {tau_i}디케이​={τ나​}
4：        ~~~~~~       보상 계산(이동할 보상) ${\widehat{아르\; 자형}}_{티}$ ▢ ${\widehat{아르\; 자형}}_{티}$ 계산 규칙
5：        ~~~~~~       현재 가치 함수를 기반으로 이점 추정치를 계산합니다. $V_{{\varphi }_{케이}}$ ~의${\widehat{ㅏ}}_{티}$ (지배력 추정 방법을 사용하십시오)       ~~~~~       ▢ 현재 장점 추정 방법은 무엇입니까?
6：        ~~~~~~       PPO-Clip 목적 함수를 최대화하여 정책을 업데이트합니다.
            ~~~~~~~~~~~            
${\theta }_{케이+1}=\mathrm{아르g}\underset{\theta }{\mathrm{최대}}\frac{1}{|{\mathcal{디}}_{케이}|티}\sum _{\tau \in {\mathcal{디}}_{케이}}\sum _{티=0}^{티}분(\frac{{\pi }_{\theta }({ㅏ}_{티}|{에스}_{티})}{{\pi }_{{\theta }_{케이}}({ㅏ}_{티}|{에스}_{티})}{ㅏ}^{{\pi }_{{\theta }_{케이}}}({에스}_{티},{ㅏ}_{티}),g(ϵ,{ㅏ}^{{\pi }_{{\theta }_{케이}}}({에스}_{티},{ㅏ}_{티})))$       ~~~~~       ▢ 전략 업데이트 공식을 결정하는 방법은 무엇입니까?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_{케이}}$ : 업데이트 전 전략 매개변수 벡터입니다. 중요도 샘플링. 이전 전략에서 샘플링.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            일반 확률적 경사 상승 + 아담
7：        ~~~~~~       평균 제곱 오차회귀 적합치 함수:
            ~~~~~~~~~~~            
${\varphi }_{케이+1}=\mathrm{아르g}\underset{\varphi }{분}\frac{1}{|{\mathcal{디}}_{케이}|티}\sum _{\tau \in {\mathcal{디}}_{케이}}\sum _{티=0}^{티}(V_{\varphi }({에스}_{티})-{\widehat{아르\; 자형}}_{티}{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            일반 경사하강법
8：$\mathbf{끝}~을\; 위한$
             ~~~~~~~~~~~~             

$dots$$\dots$

$g(ϵ,ㅏ)=\{\begin{array}{rlr}& (1+ϵ)ㅏ& ㅏ\ge 0\\ & (1-ϵ)ㅏ& ㅏ<0\end{array}$

종이에장점 추정:

${\widehat{ㅏ}}_{티}=-V({에스}_{티})+\underset{{\widehat{아르\; 자형}}_{티}???}{\underbrace{{아르\; 자형}_{티}+\gamma {아르\; 자형}_{티+1}+\cdots +{\gamma }^{티-티+1}{아르\; 자형}_{티-1}+{\gamma }^{티-티}V({에스}_{티})}}$

만들다 ${\Delta }_{티}={아르\; 자형}_{티}+감마(\gamma )({에스}_{티+1})-V({에스}_{티})$
하지만${아르\; 자형}_{티}={\Delta }_{티}-감마(\gamma )({에스}_{티+1})+V({에스}_{티})$

대리자 ${\widehat{ㅏ}}_{티}$ 표현

$\begin{array}{rl}{\widehat{ㅏ}}_{티}& =-V({에스}_{티})+{아르\; 자형}_{티}+\gamma {아르\; 자형}_{티+1}+{\gamma }^2{아르\; 자형}_{티+2}+\cdots +{\gamma }^{티-티}{아르\; 자형}_{티-2}+{\gamma }^{티-티+1}{아르\; 자형}_{티-1}+{\gamma }^{티-티}V({에스}_{티})\\ & =-V({에스}_{티})+{아르\; 자형}_{티}+\gamma {아르\; 자형}_{티+1}+\cdots +{\gamma }^{티-티+1}{아르\; 자형}_{티-1}+{\gamma }^{티-티}V({에스}_{티})\\ & =-V({에스}_{티})+\\ & {\Delta }_{티}-감마(\gamma )({에스}_{티+1})+V({에스}_{티})+\\ & \gamma ({\Delta }_{티+1}-감마(\gamma )({에스}_{티+2})+V({에스}_{티+1}))+\\ & {\gamma }^2({\Delta }_{티+2}-감마(\gamma )({에스}_{티+3})+V({에스}_{티+1}))+\\ & \cdots +\\ & {\gamma }^{티-티}({\Delta }_{티-티}-감마(\gamma )({에스}_{티-티+1})+V({에스}_{티-티}))+\\ & {\gamma }^{티-티+1}({\Delta }_{티-1}-감마(\gamma )({에스}_{티})+V({에스}_{티-1}))+\\ & {\gamma }^{티-티}V({에스}_{티})\\ & ={\Delta }_{티}+\gamma {\Delta }_{티+1}+{\gamma }^2{\Delta }_{티+2}+\cdots +{\gamma }^{티-티}{\Delta }_{티-티}+{\gamma }^{티-티+1}{\Delta }_{티-1}\end{array}$

클리핑은 정책의 급격한 변화에 대한 인센티브를 제거하여 정규화 역할을 합니다.초매개변수 $ϵ$ 새로운 전략과 기존 전략의 거리에 해당。

이러한 종류의 클리핑으로 인해 결국 이전 전략과는 거리가 먼 새로운 전략이 생성될 가능성은 여전히 ​​있습니다. 여기서는 특히 간단한 방법을 사용합니다.일찍 멈춰라 . 이전 정책과 새 정책의 평균 KL 차이가 임계값을 초과하면 그라디언트 단계 실행을 중지합니다.

PPO 목적 함수 단순 파생 링크
PPO-Clip의 목적 함수는 다음과 같습니다.
  ~  
${엘}_{{\theta }_{케이}}^{\mathrm{클립}}(\theta )=\underset{에스,ㅏ\sim {\theta }_{케이}}{\mathrm{이자형}}\left[분\right(\frac{{\pi }_{\theta }(ㅏ|에스)}{{\pi }_{{\theta }_{케이}}(ㅏ|에스)}{ㅏ}^{{\theta }_{케이}}(에스,ㅏ),\mathrm{클립}(\frac{{\pi }_{\theta }(ㅏ|에스)}{{\pi }_{{\theta }_{케이}}(ㅏ|에스)},1-ϵ,1+ϵ){ㅏ}^{{\theta }_{케이}}(에스,ㅏ)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{에스,ㅏ\sim {\theta }_{케이}}{\mathrm{이자형}}$
  ~  
아니요.$케이$ 반복을 위한 전략 매개변수${\theta }_{케이}$， $ϵ$ 작은 하이퍼파라미터입니다.
설정$ϵ\in (0,1)$, 정의
$에프(아르\; 자형,ㅏ,ϵ)\doteq 분(아르\; 자형ㅏ,\mathrm{클립}(아르\; 자형,1-ϵ,1+ϵ)ㅏ)$
언제 $ㅏ\ge 0$
$\begin{array}{rl}에프(아르\; 자형,ㅏ,ϵ)& =분(아르\; 자형ㅏ,\mathrm{클립}(아르\; 자형,1-ϵ,1+ϵ)ㅏ)\\ & =ㅏ분(아르\; 자형,\mathrm{클립}(아르\; 자형,1-ϵ,1+ϵ))\\ & =ㅏ분(아르\; 자형,\left\{\begin{array}{rlr}& 1+ϵ& 아르\; 자형\ge 1+ϵ\\ & 아르\; 자형& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & 1-ϵ& 아르\; 자형\le 1-ϵ\end{array}\right\})\\ & =ㅏ\left\{\begin{array}{rlr}& 분(아르\; 자형,1+ϵ)& 아르\; 자형\ge 1+ϵ\\ & 분(아르\; 자형,아르\; 자형)& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & 분(아르\; 자형,1-ϵ)& 아르\; 자형\le 1-ϵ\end{array}\right\}\\ & =ㅏ\left\{\begin{array}{rlr}& 1+ϵ& 아르\; 자형\ge 1+ϵ\\ & 아르\; 자형& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & 아르\; 자형& 아르\; 자형\le 1-ϵ\end{array}\right\}오른쪽\; 범위에\; 따라\\ & =ㅏ분(아르\; 자형,1+ϵ)\\ & =분(아르\; 자형ㅏ,(1+ϵ)ㅏ)\end{array}$
  ~  
언제 $ㅏ<0$
$\begin{array}{rl}에프(아르\; 자형,ㅏ,ϵ)& =분(아르\; 자형ㅏ,\mathrm{클립}(아르\; 자형,1-ϵ,1+ϵ)ㅏ)\\ & =ㅏ\mathrm{중ㅏ엑스}(아르\; 자형,\mathrm{클립}(아르\; 자형,1-ϵ,1+ϵ))\\ & =ㅏ\mathrm{최대}(아르\; 자형,\left\{\begin{array}{rlr}& 1+ϵ& 아르\; 자형\ge 1+ϵ\\ & 아르\; 자형& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & 1-ϵ& 아르\; 자형\le 1-ϵ\end{array}\right\})\\ & =ㅏ\left\{\begin{array}{rlr}& \mathrm{최대}(아르\; 자형,1+ϵ)& 아르\; 자형\ge 1+ϵ\\ & \mathrm{최대}(아르\; 자형,아르\; 자형)& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & \mathrm{최대}(아르\; 자형,1-ϵ)& 아르\; 자형\le 1-ϵ\end{array}\right\}\\ & =ㅏ\left\{\begin{array}{rlr}& 아르\; 자형& 아르\; 자형\ge 1+ϵ\\ & 아르\; 자형& 아르\; 자형\in (1-ϵ,1+ϵ)\\ & 1-ϵ& 아르\; 자형\le 1-ϵ\end{array}\right\}오른쪽\; 범위에\; 따라\\ & =ㅏ\mathrm{최대}(아르\; 자형,1-ϵ)\\ & =\mathrm{중나N}(아르\; 자형ㅏ,(1-ϵ)ㅏ)\end{array}$
  ~  
요약하자면: 정의 가능$g(ϵ,ㅏ)$
$g(ϵ,ㅏ)=\{\begin{array}{rlr}& (1+ϵ)ㅏ& ㅏ\ge 0\\ & (1-ϵ)ㅏ& ㅏ<0\end{array}$

이 정의가 새로운 전략이 기존 전략에서 너무 멀리 벗어나는 것을 방지하는 이유는 무엇입니까?
효과적인 중요도 샘플링 방법에는 새로운 전략이 필요합니다 ${\pi }_{\theta }(ㅏ|에스)$ 그리고 오래된 전략${\pi }_{{\theta }_{케이}}(ㅏ|에스)$ 두 분포의 차이가 너무 클 수는 없습니다.

1. 장점이 긍정적인 경우

$엘(에스,ㅏ,{\theta }_{케이},\theta )=분(\frac{{\pi }_{\theta }(ㅏ|에스)}{{\pi }_{{\theta }_{케이}}(ㅏ|에스)},1+ϵ){ㅏ}^{{\pi }_{{\theta }_{케이}}}(에스,ㅏ)$
장점 기능: 더 많은 보상을 받는 특정 상태-동작 쌍을 찾습니다. -&gt; 상태-동작 쌍의 가중치를 높입니다.

상태-행동 쌍일 때 $(에스,ㅏ)$ 긍정적이라면 그 행동이$ㅏ$ 실행될 가능성이 더 높습니다. 즉,${\pi }_{\theta }(ㅏ|에스)$ 증가하면 목표도 증가합니다.
이 항목의 min은 목적 함수가 특정 값으로만 ​​증가하도록 제한합니다.
한 번${\pi }_{\theta }(ㅏ|에스)>(1+ϵ){\pi }_{{\theta }_{케이}}(ㅏ|에스)$, 최소 트리거, 이 항목의 값을 다음으로 제한합니다. $(1+ϵ){\pi }_{{\theta }_{케이}}(ㅏ|에스)$。
새로운 정책은 기존 정책에서 크게 벗어나는 데 아무런 이점이 없습니다.
새로운 전략은 기존 전략에서 벗어나는 데 도움이 되지 않습니다.

2. 장점이 부정적인 경우

$엘(에스,ㅏ,{\theta }_{케이},\theta )=\mathrm{최대}(\frac{{\pi }_{\theta }(ㅏ|에스)}{{\pi }_{{\theta }_{케이}}(ㅏ|에스)},1-ϵ){ㅏ}^{{\pi }_{{\theta }_{케이}}}(에스,ㅏ)$

상태-행동 쌍일 때 $(에스,ㅏ)$ 장점이 부정적이면 행동이$ㅏ$ 그럴 가능성은 훨씬 적습니다. 즉,${\pi }_{\theta }(ㅏ|에스)$ 감소하면 목적함수가 증가합니다. 그러나 이 항의 최대값은 목적 함수를 얼마나 늘릴 수 있는지를 제한합니다.
한 번${\pi }_{\theta }(ㅏ|에스)<(1-ϵ){\pi }_{{\theta }_{케이}}(ㅏ|에스)$, 최대 트리거, 이 항목의 값을 다음으로 제한합니다. $(1-ϵ){\pi }_{{\theta }_{케이}}(ㅏ|에스)$。

다시 말하지만, 새로운 정책은 이전 정책에서 멀리 떨어져서 이익을 얻지 못합니다.
새로운 전략은 기존 전략에서 벗어나는 데 도움이 되지 않습니다.

TD3_연속적으로만: Twin Delayed Deep Deterministic Policy Gradient [ICML 2018 (캐나다) McGill University]

이미지 출처

OpenAI 문서_TD3
종이 링크

DDPG는 때때로 뛰어난 성능을 달성할 수 있지만 하이퍼파라미터 및 기타 유형의 튜닝과 관련하여 불안정한 경우가 많습니다.
일반적인 DDPG 실패 모드는 학습된 Q 함수가 Q 값을 상당히 과대평가하기 시작하고, 이로 인해 Q 함수의 오류를 이용하기 때문에 정책이 중단되는 것입니다.
TD3(Twin Delayed DDPG)는 세 가지 핵심 기술을 도입하여 이 문제를 해결하는 알고리즘입니다.
1、잘린 이중 Q-학습。

• TD3는 하나가 아닌 두 개의 Q 함수(따라서 "쌍둥이")를 학습하고 두 Q 값 중 더 작은 값을 사용하여 Bellman 오류 손실 함수에서 목표를 형성합니다.

2、정책 업데이트 지연。

• TD3은 Q 기능보다 정책(및 대상 네트워크)을 덜 자주 업데이트합니다. 논문에서는 Q 함수가 두 번 업데이트될 때마다 정책을 업데이트할 것을 권장합니다.

3. 목표 전략 평활화.

• TD3은 대상 작업에 노이즈를 추가하여 정책이 작업 변경 전반에 걸쳐 Q를 평활화하여 Q 함수의 오류를 활용하는 것을 더 어렵게 만듭니다.

TD3은 정책 외 알고리즘입니다.마디 없는행동 공간의 환경.

TD3 알고리즘 의사 코드

알고리즘: TD3
임의의 매개변수 사용${\theta }_1,{\theta }_2,\varphi$ 비평가 네트워크 초기화${큐}_{{\theta }_1},{큐}_{{\theta }_2}$및 배우 네트워크 ${\pi }_{\varphi }$
대상 네트워크 초기화${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
재생 버퍼 세트 초기화$\mathcal{비}$
$~을\; 위한티=1\mathbf{에게}티$ ：
       ~~~~~~       탐색 소음이 있는 작업 선택 $ㅏ\sim {\pi }_{\varphi }(에스)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$, 관찰 보상 $아르\; 자형$ 그리고 새로운 상태${에스}^{\prime }$
       ~~~~~~       전환 튜플 $(에스,ㅏ,아르\; 자형,{에스}^{\prime })$ 입금$\mathcal{비}$ 가운데
       ~~~~~~       ~에서 $\mathcal{비}$ 소규모 배치 샘플링$N$ 전환$(에스,ㅏ,아르\; 자형,{에스}^{\prime })$
$\widetilde{ㅏ}\leftarrow {\pi }_{{\varphi }^{\prime }}({에스}^{\prime })+ϵ,ϵ\sim \mathrm{클립}(\mathcal{N}(0,\tilde{\sigma }),-씨,씨)$
$와이\leftarrow 아르\; 자형+\gamma \underset{나=1,2}{분}{큐}_{{\theta }_{나}^{\prime }}({에스}^{\prime },\widetilde{ㅏ})$
       ~~~~~~       업데이트비평가 ${\theta }_{나}\leftarrow \mathrm{아르g}\underset{{\theta }_{나}}{분}{N}^{-1}\sum (와이-{큐}_{{\theta }_{나}}(에스,ㅏ){)}^2$
       ~~~~~~        $\mathbf{만약에}티\%디$：
            ~~~~~~~~~~~            결정적 정책 변화를 통한 업데이트 $\varphi$
${\nabla }_{\varphi }제이(\varphi )=N^{-1}\sum {\nabla }_{ㅏ}{큐}_{{\theta }_1}(에스,ㅏ){|}_{ㅏ={\pi }_{\varphi }(에스)}{\nabla }_{\varphi }{\pi }_{\varphi }(에스)$
            ~~~~~~~~~~~            대상 네트워크 업데이트:
${\theta }_{나}^{\prime }\leftarrow \tau {\theta }_{나}+(1-\tau ){\theta }_{나}^{\prime }$$\tau$: 목표 업데이트 속도
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{끝}\mathbf{만약에}$
$\mathbf{끝}~을\; 위한$

소프트 배우 평론가: SAC_연속/이산 행동 공간 [Google Brain 최신 버전 201906]

이미지 출처

정책의 엔트로피를 최대화하여 정책을 더욱 강력하게 만듭니다.

결정론적 전략 이는 동일한 상태가 주어지면 항상 동일한 작업을 선택한다는 의미입니다.
무작위성 전략 이는 주어진 상태에서 선택할 수 있는 가능한 작업이 많이 있음을 의미합니다.

실제 적용에서는 조건이 허락한다면 우리는사용해 보세요무작위성 전략, A2C, PPO 등과 같은 것이 더 유연하고, 더 강력하고, 더 안정적이기 때문입니다.

최대 엔트로피 강화 학습은 현재 성숙한 무작위성 전략, 즉 AC와 같은 알고리즘이 있음에도 불구하고 여전히 최적의 무작위성을 달성하지 못했다고 믿습니다.그러므로, 그것은정보 엔트로피개념, 에서정책의 엔트로피를 최대화하면서 누적 보상을 최대화합니다., 전략을 더욱 강력하게 만들고 최적의 무작위성 전략을 달성합니다.

——————————————————

—— OpenAI 문서_SAC

OpenAI 문서_SAC 인터페이스 링크
  ~  
소프트 액터-비평가: 확률적 액터를 사용한 오프 정책 최대 엔트로피 딥 강화 학습, Haarnoja et al, 201808 ICML 2018
소프트 액터-크리티크 알고리즘 및 응용 프로그램, Haarnoja et al, 201901
심층 강화 학습을 통한 걷기 학습, Haarnoja et al, 201906 RSS2019

SAC(Soft Actor Critic)는 정책을 벗어난 방식으로 무작위 전략을 최적화합니다.

DDPG + 확률론적 전략 최적화

TD3(동시에 출시됨)의 직접적인 후속 제품은 아닙니다.

여기에는 잘린 이중 Q 트릭이 포함되어 있으며 SAC 전략의 본질적인 무작위성으로 인해 궁극적으로 다음과 같은 이점도 있습니다.목표 정책 평활화。

SAC의 핵심 기능은 엔트로피 정규화 엔트로피 정규화。
정책은 예상 보상과 엔트로피 사이의 균형을 최대화하도록 훈련되었습니다.엔트로피는 정책의 무작위성을 측정한 것입니다.。
이는 탐사와 활용 사이의 균형과 밀접한 관련이 있습니다. 엔트로피의 증가는 다음과 같은 결과를 가져옵니다.더 자세히 살펴보세요,괜찮아후속 학습 가속화 .괜찮아요정책이 잘못된 로컬 최적으로 조기에 수렴되는 것을 방지합니다.。

연속행위공간과 이산행위공간 모두에서 사용될 수 있다.

존재하다 엔트로피 정규화된 강화 학습, 에이전트는 다음을 획득하고이 시점의 정책 엔트로피비례 보상.
현재 RL 문제는 다음과 같이 설명됩니다.

${\pi }^{\ast }=\mathrm{아르g}\underset{\pi }{\mathrm{최대}}\underset{\tau \sim \pi }{\mathrm{이자형}}\left[\sum _{티=0}^{\infty }{\gamma }^{티}\right(아르\; 자형({에스}_{티},{ㅏ}_{티},{에스}_{티+1})+\alpha 시간(\pi (\cdot |{에스}_{티})))]$

~에 $\alpha >0$ 트레이드오프 계수입니다.
각 시간 단계의 엔트로피 보상을 포함한 상태값 함수$V^{\pi }$ 을 위한:

$V^{\pi }(에스)=\underset{\tau \sim \pi }{\mathrm{이자형}}\left[\sum _{티=0}^{\infty }{\gamma }^{티}\right(아르\; 자형({에스}_{티},{ㅏ}_{티},{에스}_{티+1})+\alpha 시간(\pi (\cdot |{에스}_{티})))|{에스}_0=에스]$

첫 번째 단계를 제외한 모든 시간 단계에 대한 엔트로피 보상을 포함하는 행동 값 함수 ${큐}^{\pi }$:

${큐}^{\pi }(에스,ㅏ)=\underset{\tau \sim \pi }{\mathrm{이자형}}\left[\sum _{티=0}^{\infty }{\gamma }^{티}\right(아르\; 자형({에스}_{티},{ㅏ}_{티},{에스}_{티+1})+\alpha \sum _{티=1}^{\infty }시간(\pi (\cdot |{에스}_{티})))|{에스}_0=에스,{ㅏ}_0=ㅏ]$

• 일부 논문 ${큐}^{\pi }$ 첫 번째 단계에 대한 엔트로피 보상이 포함되어 있습니다.

$V^{\pi }$ 그리고${큐}^{\pi }$ 사이의 관계는 다음과 같습니다.

$V^{\pi }(에스)=\underset{ㅏ\sim \pi }{\mathrm{이자형}}[{큐}^{\pi }(에스,ㅏ)]+\alpha 시간(\pi (\cdot |에스))$

~에 대한 ${큐}^{\pi }$ 벨만 공식은 다음과 같습니다.

$\begin{array}{rl}{큐}^{\pi }(에스,ㅏ)& =\underset{\genfrac{}{}{0ex}{}{{에스}^{\prime }\sim 피}{{ㅏ}^{\prime }\sim \pi }}{\mathrm{이자형}}[아르\; 자형(에스,ㅏ,{에스}^{\prime })+\gamma ({큐}^{\pi }({에스}^{\prime },{ㅏ}^{\prime })+\alpha 시간(\pi (\cdot |{에스}^{\prime })))]\\ & =\underset{{에스}^{\prime }\sim 피}{\mathrm{이자형}}[아르\; 자형(에스,ㅏ,{에스}^{\prime })+\gamma V^{\pi }({에스}^{\prime })]\end{array}$

SAC는 동시에 정책을 학습합니다. ${\pi }_{\theta }$ 그리고 두$큐$ 기능${큐}_{{\varphi }_1},{큐}_{{\varphi }_2}$。
현재 표준 SAC에는 두 가지 변형이 있습니다. 하나는 고정된 SAC를 사용합니다.엔트로피 정규화 계수 $\alpha$, 훈련 중에 변경하여 또 다른 $\alpha$ 엔트로피 제약을 적용합니다.
OpenAI의 문서에서는 엔트로피 정규화 계수가 고정된 버전을 사용하지만 실제로는 이를 선호하는 경우가 많습니다.엔트로피 제약변종.

아래 그림과 같이, $\alpha$ 고정 버전에서는 확실한 장점이 있는 마지막 그림을 제외하고 나머지는 기본적으로 다음과 같은 약간의 장점만 있습니다.$\alpha$ 학습 버전은 동일하게 유지됩니다.$\alpha$ 학습 버전의 장점이 있는 중간 두 그림이 더 분명합니다.

이미지 출처

SAC 대TD3:
  ~  
같은 점:
1. 두 Q 함수는 단일 공유 목표로의 회귀를 통해 MSBE(Mean Squared Bellman Error)를 최소화하여 학습됩니다.
2. 목표 Q-네트워크를 사용하여 공유 목표를 계산하고, 훈련 프로세스 중에 Q-네트워크 매개변수에 대한 폴리악 평균화를 수행하여 목표 Q-네트워크를 얻습니다.
3. 공유 대상은 잘린 이중 Q 기술을 사용합니다.
  ~  
차이점:
1. SAC에는 엔트로피 정규화 용어가 포함되어 있습니다.
2. SAC 목표에 사용되는 다음 상태 작업은 다음에서 비롯됩니다.현재 전략, 목표 전략보다는.
3. 스무딩을 위한 명확한 목표 전략이 없습니다. TD3는 다음 상태로 이동하여 결정론적 정책을 학습합니다.무작위 노이즈 추가 부드러움을 달성하기 위해. SAC는 무작위 정책을 훈련하며 무작위성으로 인한 노이즈는 유사한 효과를 달성하기에 충분합니다.

SAC 알고리즘 의사코드

알고리즘: 소프트 배우 평론가 SAC
입력하다:${\theta }_1,{\theta }_2,\varphi$ 초기화 매개변수
매개변수 초기화:
       ~~~~~~       대상 네트워크 가중치를 초기화합니다.${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       재생 풀은 비어 있도록 초기화됩니다.$\mathcal{디}\leftarrow \varnothing$
$~을\; 위한$ 각 반복$\mathbf{하다}$ ：
       ~~~~~~       $~을\; 위한$ 각 환경 단계$\mathbf{하다}$ ：
            ~~~~~~~~~~~            정책의 샘플 작업: ${ㅏ}_{티}\sim {\pi }_{\varphi }({ㅏ}_{티}|{에스}_{티})$ ▢여기 ${\pi }_{\varphi }({ㅏ}_{티}|{에스}_{티})$ 어떻게 정의하나요?
            ~~~~~~~~~~~            환경의 샘플 전환:${에스}_{티+1}\sim 피({에스}_{티+1}|{에스}_{티},{ㅏ}_{티})$
            ~~~~~~~~~~~            전환을 재생 풀에 저장합니다. $\mathcal{디}\leftarrow \mathcal{디}\cup \{({에스}_{티},{ㅏ}_{티},아르\; 자형({에스}_{티},{ㅏ}_{티}),{에스}_{티+1})\}$
       ~~~~~~       $\mathbf{끝}~을\; 위한$
       ~~~~~~       $~을\; 위한$ 각 그라데이션 단계$\mathbf{하다}$ ：
            ~~~~~~~~~~~            고쳐 쓰다 $큐$ 기능 매개변수: for i ∈ { 1 , 2 } iin{1,2}나∈{1,2}，${\theta }_{나}\leftarrow {\theta }_{나}-{\lambda }_{큐}{\hat{\nabla }}_{{\theta }_{나}}{제이}_{큐}({\theta }_{나})$ ▢여기 ${제이}_{큐}({\theta }_{나})$ 어떻게 정의하나요?
            ~~~~~~~~~~~            업데이트 전략 가중치: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{제이}_{\pi }(\varphi )$ ▢여기 ${제이}_{\pi }(\varphi )$ 어떻게 정의하나요?
            ~~~~~~~~~~~            온도 조정: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }제이(\alpha )$ ▢여기 $제이(\alpha )$ 어떻게 정의하나요?여기서 온도를 이해하는 방법은 무엇입니까?
            ~~~~~~~~~~~             대상 네트워크 가중치 업데이트: i ∈ { 1 , 2 } iin{1,2}나∈{1,2}，${\bar{\theta }}_{나}\leftarrow \tau {\theta }_{나}-(1-\tau ){\bar{\theta }}_{나}$ ▢ 이것을 이해하는 방법 $\tau$ ? ——&gt;목표 평활화 계수
       ~~~~~~       $\mathbf{끝}~을\; 위한$
$\mathbf{끝}~을\; 위한$
산출:${\theta }_1,{\theta }_1,\varphi$최적화된 매개변수

$\hat{\nabla }$: 확률적 기울기

$emptyset$$\varnothing$

심층 강화 학습을 통한 걷기 학습 버전:
  ~  

$\alpha$ 엔트로피 항과 보상의 상대적 중요성을 결정하여 최적 전략의 무작위성을 제어하는 ​​온도 매개변수입니다.
$\alpha$ 대형: 탐색
$\alpha$ 작은: 악용

$제이(\alpha )=\underset{{ㅏ}_{티}\sim {\pi }_{티}}{\mathbb{이자형}}[-\alpha \mathrm{봐라g}{\pi }_{티}({ㅏ}_{티}|{에스}_{티})-\alpha \overline{\mathcal{시간}}]$