Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• PDF-версия easy-rl организация примечаний P5, P10 - P12
• Приложение для сравнения joyrl P11-P13
• Организация документов OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Последняя версия PDF скачать
Адрес: https://github.com/datawhalechina/easy-rl/releases
Внутренний адрес (рекомендуется для отечественных читателей)：
Ссылка: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Код извлечения: us6a

Ссылка на онлайн-версию easy-rl (для копирования кода)
Ссылка 2: https://datawhalechina.github.io/joyrl-book/

другой:
[Ссылка на запись об ошибках]
——————
5. Основы глубокого обучения с подкреплением ⭐️
Содержимое с открытым исходным кодом: https://linklearner.com/learn/summary/11.
——————————

Источник изображения

Оптимизация проксимальной политики (PPO)

Идентичная стратегия: агент, подлежащий обучению, и агент, взаимодействующий с окружающей средой, одинаковы.
Гетерогенные стратегии: агент, который обучается, и агент, взаимодействующий с окружающей средой, различны.

Градиент политики: требуется много времени для выборки данных.

та же стратегия $\stackrel{выборка\; по\; важности}{⟹}$ разные стратегии

PPO: избегайте двух дистрибутивов, которые слишком сильно различаются. тот же алгоритм стратегии
1. Оригинальные элементы оптимизации$Дж.(\theta ,{\theta }^{\prime })$
2. Элементы ограничений:$\theta$ и${\theta }^{\prime }$ Расхождение КЛ выходного воздействия ($\theta$ и${\theta }^{\prime }$ Чем больше похоже, тем лучше)

У PPO есть предшественник: оптимизация политики доверительного региона (TRPO).
С TRPO сложно справиться, поскольку оно рассматривает ограничение дивергенции KL как дополнительное ограничение и не помещается в целевую функцию, поэтому его трудно вычислить. Поэтому мы обычно используем PPO вместо TRPO. Производительность PPO и TRPO аналогична, но PPO гораздо проще реализовать, чем TRPO.

Дивергенция КЛ: расстояние действия.Распределение вероятностей совершения действия расстояние.

Существует два основных варианта алгоритма PPO: штраф за оптимизацию проксимальной политики (PPO-штраф) и отсечение оптимизации проксимальной политики (PPO-clip).

——————————
P10 Проблема скудного вознаграждения
1. Дизайнерские награды. Требуется знание предметной области
Как насчет назначения окончательной награды за каждое соответствующее действие?

2. Любопытство
Модуль внутреннего любопытства (ICM)
входить:${а}_{т},{с}_{т}$
Выход:${\widehat{с}}_{т+1}$
Прогнозируемая ценность сети${\widehat{с}}_{т+1}$ с истинной ценностью${с}_{т+1}$ Чем более они непохожи, тем${р}_{т}^{я}$ Больший

${р}_{т}^{я}$ : Чем сложнее предсказать будущее состояние, тем больше награда за действие. Поощряйте приключения и исследования.

• Индикатор слишком одинок, и вы можете узнать только бесполезные вещи.

экстрактор функций

Сеть 2:
Вход: вектор$\mathbf{\varphi }({с}_{т})$ и$\mathbf{\varphi }({с}_{т+1})$

Прогнозирование действий $\widehat{а}$ Чем ближе к реальным действиям, тем лучше.

3. Курсовое обучение

Легко -> Сложно

Обратное обучение по учебной программе:
Начиная с последнего, наиболее идеального состояния (мы называем его золотым состоянием), перейдите кНайдите штат, наиболее близкий к золотому штату Как поэтапное «идеальное» состояние, которого вы хотите достичь от агента. Конечно, мы намеренно удалим в этом процессе некоторые крайние состояния, то есть состояния, которые слишком легки или слишком сложны.

4. Иерархическое обучение с подкреплением (HRL)
Стратегия агента делится на стратегии высокого уровня и стратегии низкого уровня. Стратегия высокого уровня определяет, как выполнять стратегию низкого уровня на основе текущего состояния.

————————
P11 Имитационное обучение
Не уверен насчет сцены с наградой

Имитационное обучение (ИЛ)
обучение на демонстрации
Обучение
учусь, наблюдая

Есть четкие награды: настольные игры, видеоигры.
Невозможно дать четкое вознаграждение: чат-бот

Соберите экспертные демонстрации: записи вождения людей, человеческие разговоры.

И наоборот, какую функцию вознаграждения выполняет эксперт за эти действия?
Обучение с обратным подкреплением — этоСначала найдите функцию вознаграждения, после нахождения функции вознаграждения, используйте обучение с подкреплением, чтобы найти оптимального актера.

Технология обучения с имитацией от третьего лица

————————
P12 Глубокий детерминированный политический градиент (DDPG)

Используйте стратегию воспроизведения опыта

Эксперимент по абляции [метод контролируемой переменной] Анализкаждое ограничениевлияние на исход боя.

---

джойрл：

ДДПГ_непрерывный

в нуждеуверенностьстратегия инепрерывное действиеВ условиях пространства этот тип алгоритма будет относительно стабильным базовым алгоритмом.

DQN для пространств непрерывного действия

Алгоритм глубокого детерминированного политического градиента (DDPG)

Механизм воспроизведения опыта может уменьшить корреляцию между выборками, повысить эффективность использования выборок и повысить стабильность обучения.

недостаток:
1. Невозможно использовать в пространстве дискретных действий.
2、Сильно зависит от гиперпараметров
3. Высокочувствительные начальные условия. Влияет на сходимость и производительность алгоритма.
4. Легко попасть в локальный оптимум.

• Из-за принятия детерминированной стратегии алгоритм может попасть в локальный оптимум и затруднить поиск глобальной оптимальной стратегии. Чтобы повысить разведку, необходимо принять некоторые меры, такие как добавление стратегий шума или использование других методов разведки.

Преимущество мягкого обновления заключается в том, что оно происходит более плавно и медленно, что позволяет избежать потрясений, вызванных слишком быстрым обновлением веса, и снизить риск расхождения в тренировках.

Алгоритм детерминистического градиента политики с двойной задержкой (DDPG с двойной задержкой, TD3)

Алгоритм детерминированного политического градиента с двойной задержкой

Три улучшения: сеть Double Q, отложенное обновление, регуляризация шума.
Двойная сеть Q : Две сети Q, выберите ту, у которой значение Q меньше. Решить проблему завышения значения Q и улучшить стабильность и сходимость алгоритма.

Отложенное обновление: пусть частота обновления актеров будет ниже, чем частота обновления критиков.

• Подумай дважды

Шум больше похож наРегуляризациятаким образом, чтообновление функции значенияболеегладкий

Библиотека OpenAI Gym_Pendulum_TD3

Ссылка на интерфейс документа OpenAI о TD3

Ссылка на документ TD3 в формате PDF

PPO_Пространство непрерывного/дискретного действия [OpenAI 201708]

Наиболее часто используемый алгоритм PPO в обучении с подкреплением.
Дискретный + непрерывный
Быстрый и стабильный, легко настраивать параметры
базовый алгоритм

Не определился с PPO

На практике обычно используются ограничения отсечения, поскольку они проще, требуют меньших вычислительных затрат и дают лучшие результаты.

Алгоритм вне политики можетиспользовать исторический опыт, обычно используйте воспроизведение опыта для хранения и повторного использования предыдущего опыта,Эффективность использования данных высокая。

PPO — это алгоритм, соответствующий политике.

• Хотя в части выборки по важности используются выборки из старой выборки актеров, мыЭти образцы не используются напрямую для обновления стратегии. , но используйте выборку по важности, чтобы сначала исправить ошибки, вызванные различным распределением данных, даже если разница между двумя распределениями выборки максимально уменьшена.Другими словами, можно понять, что хотя выборки после выборки по важности получаются путем выборки по старой стратегии, они могутПримерно получено из обновленной политики, то есть актер, которого мы хотим оптимизировать, и актер, который мы выбираем, одинаковы.

——————————————————

—— Документация OpenAI_PPO

Документация OpenAI
Ссылка на интерфейс Paper arXiv: Алгоритмы оптимизации проксимальной политики

PPO: алгоритм, основанный на политике, подходящий для дискретных или непрерывных пространств действий.Возможный локальный оптимум

Мотивация для PPO такая же, как и для TRPO: как использовать существующие данные.Сделайте максимально возможный шаг к улучшению своей стратегии., не меняя его слишком сильно и случайно не вызывая сбоя производительности?
TRPO пытается решить эту проблему с помощью сложного подхода второго порядка, в то время как PPO представляет собой подход первого порядка, который использует некоторые другие приемы, чтобы сохранить новую стратегию близкой к старой.
Метод PPO гораздо проще реализовать и, как показывает опыт, работает по крайней мере так же хорошо, как TRPO.

Существует две основные разновидности PPO: PPO-Penalty и PPO-Clip.

• PPO-Penalty примерно решает обновления ограничений KL, как TRPO, но штрафует KL-расхождение в целевой функции вместо того, чтобы делать его жестким ограничением, и автоматически корректирует штрафной коэффициент во время обучения, чтобы он масштабировался соответствующим образом.
• PPO-Clip не имеет KL-дивергенции и ограничений на целевую функцию. Вместо этого он полагается на специальную настройку целевой функции, чтобы устранить стимулы для новой стратегии отходить от старой стратегии.
  PPO-Clip (основной вариант, используемый OpenAl).

Псевдокод алгоритма PPO-Clip

Алгоритм: PPO-Клип
1: Входные данные: начальные параметры стратегии.${\theta }_0$, параметры функции начального значения ${\varphi }_0$
2：$\mathbf{для}к=0,1,2,\dots \mathbf{делать}$：
3：        ~~~~~~       Запустив политику в среде ${\pi }_{к}=\pi ({\theta }_{к})$ Собрать набор траекторий D k = { τ i } {cal D}_k={tau_i}Дк​={τя​}
4：        ~~~~~~       Рассчитать вознаграждения (вознаграждения к использованию) ${\widehat{р}}_{т}$ ▢ ${\widehat{р}}_{т}$ правила расчета
5：        ~~~~~~       Вычислить оценку преимущества на основе функции текущего значения ${В}_{{\varphi }_{к}}$ из${\widehat{А}}_{т}$ (Используйте любой метод оценки доминирования)       ~~~~~       ▢ Каковы современные методы оценки преимуществ?
6：        ~~~~~~       Обновите политику, максимизировав целевую функцию PPO-Clip:
            ~~~~~~~~~~~            
${\theta }_{к+1}=\mathrm{арг}\underset{\theta }{\mathrm{Макс}}\frac{1}{|{\mathcal{Д}}_{к}|Т}\sum _{\tau \in {\mathcal{Д}}_{к}}\sum _{т=0}^{Т}\mathrm{мин}(\frac{{\pi }_{\theta }({а}_{т}|{с}_{т})}{{\pi }_{{\theta }_{к}}({а}_{т}|{с}_{т})}{А}^{{\pi }_{{\theta }_{к}}}({с}_{т},{а}_{т}),г(ϵ,{А}^{{\pi }_{{\theta }_{к}}}({с}_{т},{а}_{т})))$       ~~~~~       ▢ Как определить формулу обновления стратегии?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_{к}}$ : Вектор параметров стратегии перед обновлением. Выборка по важности. Выборка из старых стратегий.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Общий стохастический градиентный подъем + Адам
7：        ~~~~~~       среднеквадратическая ошибкафункция подобранного значения регрессии:
            ~~~~~~~~~~~            
${\varphi }_{к+1}=\mathrm{арг}\underset{\varphi }{\mathrm{мин}}\frac{1}{|{\mathcal{Д}}_{к}|Т}\sum _{\tau \in {\mathcal{Д}}_{к}}\sum _{т=0}^{Т}({В}_{\varphi }({с}_{т})-{\widehat{р}}_{т}{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Общий градиентный спуск
8：$\mathbf{конец}\mathbf{для}$
             ~~~~~~~~~~~~             

$dots$$\dots$

$г(ϵ,А)=\{\begin{array}{rlr}& (1+ϵ)А& А\ge 0\\ & (1-ϵ)А& А<0\end{array}$

в газетеОценка преимущества:

${\widehat{А}}_{т}=-В({с}_{т})+\underset{{\widehat{р}}_{т}???}{\underbrace{{р}_{т}+\gamma {р}_{т+1}+\cdots +{\gamma }^{Т-т+1}{р}_{Т-1}+{\gamma }^{Т-т}В({с}_{Т})}}$

делать ${\Delta }_{т}={р}_{т}+\gamma V({с}_{т+1})-В({с}_{т})$
но${р}_{т}={\Delta }_{т}-\gamma V({с}_{т+1})+В({с}_{т})$

Заменять ${\widehat{А}}_{т}$ выражение

$\begin{array}{rl}{\widehat{А}}_{т}& =-В({с}_{т})+{р}_{т}+\gamma {р}_{т+1}+{\gamma }^2{р}_{т+2}+\cdots +{\gamma }^{Т-т}{р}_{Т-2}+{\gamma }^{Т-т+1}{р}_{Т-1}+{\gamma }^{Т-т}В({с}_{Т})\\ & =-В({с}_{т})+{р}_{т}+\gamma {р}_{т+1}+\cdots +{\gamma }^{Т-т+1}{р}_{Т-1}+{\gamma }^{Т-т}В({с}_{Т})\\ & =-В({с}_{т})+\\ & {\Delta }_{т}-\gamma V({с}_{т+1})+В({с}_{т})+\\ & \gamma ({\Delta }_{т+1}-\gamma V({с}_{т+2})+В({с}_{т+1}))+\\ & {\gamma }^2({\Delta }_{т+2}-\gamma V({с}_{т+3})+В({с}_{т+1}))+\\ & \cdots +\\ & {\gamma }^{Т-т}({\Delta }_{Т-т}-\gamma V({с}_{Т-т+1})+В({с}_{Т-т}))+\\ & {\gamma }^{Т-т+1}({\Delta }_{Т-1}-\gamma V({с}_{Т})+В({с}_{Т-1}))+\\ & {\gamma }^{Т-т}В({с}_{Т})\\ & ={\Delta }_{т}+\gamma {\Delta }_{т+1}+{\gamma }^2{\Delta }_{т+2}+\cdots +{\gamma }^{Т-т}{\Delta }_{Т-т}+{\gamma }^{Т-т+1}{\Delta }_{Т-1}\end{array}$

Отсечение действует как регуляризатор, устраняя стимулы для радикальных изменений в политике.гиперпараметры $ϵ$ Соответствует расстоянию между новой стратегией и старой стратегией.。

Все еще возможно, что такое отсечение в конечном итоге приведет к созданию новой стратегии, далекой от старой. В данной реализации мы используем особенно простой метод:Остановитесь раньше . Если среднее KL-расхождение новой политики от старой политики превышает пороговое значение, мы прекращаем выполнение шага градиента.

Простая ссылка на вывод целевой функции PPO
Целевой функцией ППО-Клип является:
  ~  
${Л}_{{\theta }_{к}}^{\mathrm{КЛИП}}(\theta )=\underset{с,а\sim {\theta }_{к}}{Э}\left[\mathrm{мин}\right(\frac{{\pi }_{\theta }(а|с)}{{\pi }_{{\theta }_{к}}(а|с)}{А}^{{\theta }_{к}}(с,а),\mathrm{клип}(\frac{{\pi }_{\theta }(а|с)}{{\pi }_{{\theta }_{к}}(а|с)},1-ϵ,1+ϵ){А}^{{\theta }_{к}}(с,а)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{с,а\sim {\theta }_{к}}{Э}$
  ~  
Нет.$к$ Параметры стратегии для итераций${\theta }_{к}$， $ϵ$ — небольшой гиперпараметр.
настраивать$ϵ\in (0,1)$, определение
$Ф(р,А,ϵ)\doteq \mathrm{мин}(рА,\mathrm{клип}(р,1-ϵ,1+ϵ)А)$
когда $А\ge 0$
$\begin{array}{rl}Ф(р,А,ϵ)& =\mathrm{мин}(рА,\mathrm{клип}(р,1-ϵ,1+ϵ)А)\\ & =А\mathrm{мин}(р,\mathrm{клип}(р,1-ϵ,1+ϵ))\\ & =А\mathrm{мин}(р,\left\{\begin{array}{rlr}& 1+ϵ& р\ge 1+ϵ\\ & р& р\in (1-ϵ,1+ϵ)\\ & 1-ϵ& р\le 1-ϵ\end{array}\right\})\\ & =А\left\{\begin{array}{rlr}& \mathrm{мин}(р,1+ϵ)& р\ge 1+ϵ\\ & \mathrm{мин}(р,р)& р\in (1-ϵ,1+ϵ)\\ & \mathrm{мин}(р,1-ϵ)& р\le 1-ϵ\end{array}\right\}\\ & =А\left\{\begin{array}{rlr}& 1+ϵ& р\ge 1+ϵ\\ & р& р\in (1-ϵ,1+ϵ)\\ & р& р\le 1-ϵ\end{array}\right\}По\; диапазону\; справа\\ & =А\mathrm{мин}(р,1+ϵ)\\ & =\mathrm{мин}(рА,(1+ϵ)А)\end{array}$
  ~  
когда $А<0$
$\begin{array}{rl}Ф(р,А,ϵ)& =\mathrm{мин}(рА,\mathrm{клип}(р,1-ϵ,1+ϵ)А)\\ & =А\mathrm{маИкс}(р,\mathrm{клип}(р,1-ϵ,1+ϵ))\\ & =А\mathrm{Макс}(р,\left\{\begin{array}{rlr}& 1+ϵ& р\ge 1+ϵ\\ & р& р\in (1-ϵ,1+ϵ)\\ & 1-ϵ& р\le 1-ϵ\end{array}\right\})\\ & =А\left\{\begin{array}{rlr}& \mathrm{Макс}(р,1+ϵ)& р\ge 1+ϵ\\ & \mathrm{Макс}(р,р)& р\in (1-ϵ,1+ϵ)\\ & \mathrm{Макс}(р,1-ϵ)& р\le 1-ϵ\end{array}\right\}\\ & =А\left\{\begin{array}{rlr}& р& р\ge 1+ϵ\\ & р& р\in (1-ϵ,1+ϵ)\\ & 1-ϵ& р\le 1-ϵ\end{array}\right\}По\; диапазону\; справа\\ & =А\mathrm{Макс}(р,1-ϵ)\\ & =\mathrm{мян}(рА,(1-ϵ)А)\end{array}$
  ~  
Подводя итог: определимо$г(ϵ,А)$
$г(ϵ,А)=\{\begin{array}{rlr}& (1+ϵ)А& А\ge 0\\ & (1-ϵ)А& А<0\end{array}$

Почему это определение не позволяет новой стратегии слишком далеко отклониться от старой?
Эффективные методы выборки по важности требуют новых стратегий ${\pi }_{\theta }(а|с)$ и старые стратегии${\pi }_{{\theta }_{к}}(а|с)$ Разница между двумя распределениями не может быть слишком большой.

1. Когда преимущество положительное

$Л(с,а,{\theta }_{к},\theta )=\mathrm{мин}(\frac{{\pi }_{\theta }(а|с)}{{\pi }_{{\theta }_{к}}(а|с)},1+ϵ){А}^{{\pi }_{{\theta }_{к}}}(с,а)$
Функция преимущества: найдите определенную пару состояние-действие с большим количеством наград -&gt; увеличьте вес пары состояние-действие.

Когда пара состояние-действие $(с,а)$ положительно, то если действие$а$ с большей вероятностью будет выполнено, т.е. если${\pi }_{\theta }(а|с)$ Увеличивайте и цель увеличится.
min в этом пункте ограничивает целевую функцию увеличением только до определенного значения
один раз${\pi }_{\theta }(а|с)>(1+ϵ){\pi }_{{\theta }_{к}}(а|с)$, минимальные триггеры, ограничивающие значение этого элемента до $(1+ϵ){\pi }_{{\theta }_{к}}(а|с)$。
новая политика не выигрывает от значительного отхода от старой политики.
Новая стратегия не выиграет от отхода от старой стратегии.

2. Когда преимущество отрицательное

$Л(с,а,{\theta }_{к},\theta )=\mathrm{Макс}(\frac{{\pi }_{\theta }(а|с)}{{\pi }_{{\theta }_{к}}(а|с)},1-ϵ){А}^{{\pi }_{{\theta }_{к}}}(с,а)$

Когда пара состояние-действие $(с,а)$ Преимущество отрицательное, то если действие$а$ еще менее вероятно, то есть, если${\pi }_{\theta }(а|с)$ уменьшится, целевая функция увеличится. Но максимум в этом термине ограничивает, насколько можно увеличить целевую функцию.
один раз${\pi }_{\theta }(а|с)<(1-ϵ){\pi }_{{\theta }_{к}}(а|с)$, максимальное количество триггеров, ограничивающее значение этого элемента до $(1-ϵ){\pi }_{{\theta }_{к}}(а|с)$。

Опять же: новая политика не выиграет от отхода далеко от старой политики.
Новая стратегия не выиграет от отхода от старой стратегии.

ТД3_только подряд: Двойной глубокий детерминированный политический градиент с задержкой [ICML 2018 (Канада) Университет Макгилла]

Источник изображения

Документация OpenAI_TD3
Бумажная ссылка

Хотя DDPG иногда может достигать превосходной производительности, он часто нестабильен, когда дело касается гиперпараметров и других типов настройки.
Распространенный режим сбоя DDPG заключается в том, что изученная функция Q начинает значительно переоценивать значение Q, что затем приводит к сбою политики, поскольку она использует ошибку в функции Q.
Twin Delayed DDPG (TD3) — это алгоритм, который решает эту проблему, используя три ключевых метода:
1、Усеченное двойное Q-обучение。

• TD3 изучает две функции Q вместо одной (отсюда и «близнец») и использует меньшее из двух значений Q для формирования цели в функции потери ошибок Беллмана.

2、Задержка обновления политики。

• TD3 обновляет политику (и целевую сеть) реже, чем функция Q. В документе рекомендуется обновлять политику каждый раз, когда функция Q обновляется дважды.

3. Сглаживание целевой стратегии.

• TD3 добавляет шум к целевому действию, усложняя политику использование ошибок в функции Q путем сглаживания Q при изменениях действий.

TD3 — это алгоритм вне политики, его можно использовать только с ним;непрерывныйОкружение пространства действия.

Псевдокод алгоритма TD3

Алгоритм: TD3
Используйте случайные параметры${\theta }_1,{\theta }_2,\varphi$ Инициализировать сеть критиков${В}_{{\theta }_1},{В}_{{\theta }_2}$и сеть актеров ${\pi }_{\varphi }$
Инициализировать целевую сеть${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Инициализировать набор буферов воспроизведения$\mathcal{Б}$
$\mathbf{для}т=1\mathbf{к}Т$ ：
       ~~~~~~       Выберите действие с шумом исследования $а\sim {\pi }_{\varphi }(с)+ϵ,ϵ\sim \mathcal{Н}(0,\sigma )$, награда за наблюдение $р$ и новый статус${с}^{\prime }$
       ~~~~~~       Кортеж перехода $(с,а,р,{с}^{\prime })$ внести депозит в$\mathcal{Б}$ середина
       ~~~~~~       от $\mathcal{Б}$ Отбор проб небольшими партиями$Н$ переходы$(с,а,р,{с}^{\prime })$
$\widetilde{а}\leftarrow {\pi }_{{\varphi }^{\prime }}({с}^{\prime })+ϵ,ϵ\sim \mathrm{клип}(\mathcal{Н}(0,\tilde{\sigma }),-с,с)$
$у\leftarrow р+\gamma \underset{я=1,2}{\mathrm{мин}}{В}_{{\theta }_{я}^{\prime }}({с}^{\prime },\widetilde{а})$
       ~~~~~~       Обновление критиков ${\theta }_{я}\leftarrow \mathrm{арг}\underset{{\theta }_{я}}{\mathrm{мин}}{Н}^{-1}\sum (у-{В}_{{\theta }_{я}}(с,а){)}^2$
       ~~~~~~        $\mathbf{если}т\%г$：
            ~~~~~~~~~~~            Обновление с помощью градиента детерминированной политики $\varphi$
${\nabla }_{\varphi }Дж.(\varphi )={Н}^{-1}\sum {\nabla }_{а}{В}_{{\theta }_1}(с,а){|}_{а={\pi }_{\varphi }(с)}{\nabla }_{\varphi }{\pi }_{\varphi }(с)$
            ~~~~~~~~~~~            Обновить целевую сеть:
${\theta }_{я}^{\prime }\leftarrow \tau {\theta }_{я}+(1-\tau ){\theta }_{я}^{\prime }$$\tau$: Целевая частота обновления
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{конец}\mathbf{если}$
$\mathbf{конец}\mathbf{для}$

Мягкий актер-критик: SAC_Continious/Discrete Action Space [Google Brain, последняя версия 201906]

Источник изображения

Максимизируйте энтропию политики, тем самым делая политику более устойчивой.

детерминированная стратегия Это означает, что в одном и том же состоянии всегда выбирают одно и то же действие.
стратегия случайности Это означает, что существует множество возможных действий, которые можно выбрать в данном состоянии.

В реальном применении, если позволяют условия, мыПопробуй использоватьстратегия случайности, например A2C, PPO и т. д., потому что он более гибкий, более надежный и более стабильный.

Обучение с подкреплением с максимальной энтропией предполагает, что, хотя в настоящее время у нас есть зрелые стратегии случайности, а именно такие алгоритмы, как AC, мы все еще не достигли оптимальной случайности.Поэтому он вводитинформационная энтропияконцепция, вМаксимизируйте совокупное вознаграждение, одновременно максимизируя энтропию политики., что делает стратегию более надежной и обеспечивает оптимальную стратегию случайности.

——————————————————

—— Документация OpenAI_SAC

OpenAI Documentation_SAC Интерфейсная ссылка
  ~  
Мягкий актер-критик: нестандартное обучение с максимальной энтропией и подкреплением с помощью стохастического актера, Хаарноя и др., 201808 ICML 2018
Мягкие алгоритмы актера-критика и их применение, Хаарноя и др., 201901
Обучение ходьбе с помощью глубокого обучения с подкреплением, Хаарноя и др., 201906 RSS2019

Soft Actor Critic (SAC) оптимизирует случайные стратегии вне политики.

DDPG + оптимизация стохастической стратегии

Не является прямым преемником TD3 (выпущенного примерно в то же время).

Он включает в себя трюк с усеченным двойным Q, и из-за присущей стратегии SAC случайности, он также в конечном итоге выигрывает отсглаживание целевой политики。

Основной особенностью SAC является энтропийная регуляризация энтропийная регуляризация。
Политика обучена максимизировать компромисс между ожидаемым вознаграждением и энтропией.Энтропия – это мера случайности политики.。
Это тесно связано с компромиссом между разведкой и эксплуатацией: увеличение энтропии приводит кЕще больше интересного,хорошоУскорьте последующее обучение .Ничего страшногоПредотвратить преждевременное сближение политики с плохим локальным оптимумом.。

Его можно использовать как в пространстве непрерывного действия, так и в пространстве дискретного действия.

существовать Энтропийно-регуляризованное обучение с подкреплением, агент получает иЭнтропия политики на этом временном шагеПропорциональное вознаграждение.
На данный момент проблема RL описывается так:

${\pi }^{\ast }=\mathrm{арг}\underset{\pi }{\mathrm{Макс}}\underset{\tau \sim \pi }{Э}\left[\sum _{т=0}^{\infty }{\gamma }^{т}\right(р({с}_{т},{а}_{т},{с}_{т+1})+\alpha ЧАС(\pi (\cdot |{с}_{т})))]$

в $\alpha >0$ – коэффициент компромисса.
Функция значения состояния, включая вознаграждение за энтропию на каждом временном шаге${В}^{\pi }$ для:

${В}^{\pi }(с)=\underset{\tau \sim \pi }{Э}\left[\sum _{т=0}^{\infty }{\gamma }^{т}\right(р({с}_{т},{а}_{т},{с}_{т+1})+\alpha ЧАС(\pi (\cdot |{с}_{т})))|{с}_0=с]$

Функция ценности действия, которая включает вознаграждение энтропии за каждый временной шаг, кроме первого. ${В}^{\pi }$:

${В}^{\pi }(с,а)=\underset{\tau \sim \pi }{Э}\left[\sum _{т=0}^{\infty }{\gamma }^{т}\right(р({с}_{т},{а}_{т},{с}_{т+1})+\alpha \sum _{т=1}^{\infty }ЧАС(\pi (\cdot |{с}_{т})))|{с}_0=с,{а}_0=а]$

• некоторые документы ${В}^{\pi }$ Содержит награду энтропии за первый временной шаг.

${В}^{\pi }$ и${В}^{\pi }$ Отношения между собой:

${В}^{\pi }(с)=\underset{а\sim \pi }{Э}[{В}^{\pi }(с,а)]+\alpha ЧАС(\pi (\cdot |с))$

о ${В}^{\pi }$ Формула Беллмана:

$\begin{array}{rl}{В}^{\pi }(с,а)& =\underset{\genfrac{}{}{0ex}{}{{с}^{\prime }\sim п}{{а}^{\prime }\sim \pi }}{Э}[р(с,а,{с}^{\prime })+\gamma ({В}^{\pi }({с}^{\prime },{а}^{\prime })+\alpha ЧАС(\pi (\cdot |{с}^{\prime })))]\\ & =\underset{{с}^{\prime }\sim п}{Э}[р(с,а,{с}^{\prime })+\gamma {В}^{\pi }({с}^{\prime })]\end{array}$

SAC одновременно изучает политику ${\pi }_{\theta }$ и два$В$ функция${В}_{{\varphi }_1},{В}_{{\varphi }_2}$。
В настоящее время существует два варианта стандартного SAC: один использует фиксированныйКоэффициент энтропийной регуляризации $\alpha$, другой путем изменения во время тренировки $\alpha$ для обеспечения соблюдения энтропийных ограничений.
В документации OpenAI используется версия с фиксированным коэффициентом регуляризации энтропии, но на практике ей часто отдают предпочтение.ограничение энтропиивариант.

Как показано ниже, в $\alpha$ В фиксированной версии, за исключением последней картинки, которая имеет очевидные преимущества, остальные имеют лишь небольшие преимущества, в основном такие же, как и$\alpha$ Версия обучения остается прежней;$\alpha$ На двух средних изображениях преимущества обучающей версии более очевидны.

Источник изображения

SAC ПРОТИВTD3:
  ~  
Тот же момент:
1. Обе функции Q изучаются путем минимизации MSBE (среднеквадратичной ошибки Беллмана) путем регрессии к одной общей цели.
2. Используйте целевую Q-сеть для расчета общей цели и выполните усреднение полей по параметрам Q-сети во время процесса обучения, чтобы получить целевую Q-сеть.
3. Общая цель использует метод усеченного двойного Q.
  ~  
разница:
1. SAC содержит член энтропийной регуляризации.
2. Следующее действие состояния, используемое в цели SAC, происходит отТекущая стратегия, а не целевую стратегию.
3. Нет четкой целевой стратегии сглаживания. TD3 тренирует детерминированную политику, переходя к следующему состоянию.Добавить случайный шум добиться гладкости. SAC обучает случайной политике, и шума от случайности достаточно для достижения аналогичных эффектов.

Псевдокод алгоритма SAC

Алгоритм: Мягкий актер-критик SAC
входить:${\theta }_1,{\theta }_2,\varphi$ Параметры инициализации
Инициализация параметров:
       ~~~~~~       Инициализируйте веса целевой сети:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Пул воспроизведения инициализируется как пустой:$\mathcal{Д}\leftarrow \varnothing$
$\mathbf{для}$ каждая итерация$\mathbf{делать}$ ：
       ~~~~~~       $\mathbf{для}$ Каждый шаг среды$\mathbf{делать}$ ：
            ~~~~~~~~~~~            Примеры действий из политики: ${а}_{т}\sim {\pi }_{\varphi }({а}_{т}|{с}_{т})$ ▢Здесь ${\pi }_{\varphi }({а}_{т}|{с}_{т})$ Как определить?
            ~~~~~~~~~~~            Примеры переходов из окружения:${с}_{т+1}\sim п({с}_{т+1}|{с}_{т},{а}_{т})$
            ~~~~~~~~~~~            Сохраняем переход в пул воспроизведения: $\mathcal{Д}\leftarrow \mathcal{Д}\cup \{({с}_{т},{а}_{т},р({с}_{т},{а}_{т}),{с}_{т+1})\}$
       ~~~~~~       $\mathbf{конец}\mathbf{для}$
       ~~~~~~       $\mathbf{для}$ Каждый шаг градиента$\mathbf{делать}$ ：
            ~~~~~~~~~~~            возобновлять $В$ Параметры функции: для i ∈ { 1 , 2 } iв{1,2}я∈{1,2}，${\theta }_{я}\leftarrow {\theta }_{я}-{\lambda }_{В}{\hat{\nabla }}_{{\theta }_{я}}{Дж.}_{В}({\theta }_{я})$ ▢Здесь ${Дж.}_{В}({\theta }_{я})$ Как определить?
            ~~~~~~~~~~~            Обновить веса стратегии: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{Дж.}_{\pi }(\varphi )$ ▢Здесь ${Дж.}_{\pi }(\varphi )$ Как определить?
            ~~~~~~~~~~~            Отрегулируйте температуру: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }Дж.(\alpha )$ ▢Здесь $Дж.(\alpha )$ Как определить?Как понять температуру здесь?
            ~~~~~~~~~~~             Обновить целевые веса сети: для i ∈ { 1 , 2 } iв{1,2}я∈{1,2}，${\bar{\theta }}_{я}\leftarrow \tau {\theta }_{я}-(1-\tau ){\bar{\theta }}_{я}$ ▢ Как это понять $\tau$ ? ——&gt;Целевой коэффициент сглаживания
       ~~~~~~       $\mathbf{конец}\mathbf{для}$
$\mathbf{конец}\mathbf{для}$
Выход:${\theta }_1,{\theta }_1,\varphi$Оптимизированные параметры

$\hat{\nabla }$: стохастический градиент

$emptyset$$\varnothing$

Обучение ходьбе с помощью глубокого обучения с подкреплением Версия в:
  ~  

$\alpha$ — температурный параметр, который определяет относительную важность энтропийного члена и вознаграждения, тем самым контролируя случайность оптимальной стратегии.
$\alpha$ Большой: Исследуйте
$\alpha$ Маленький: эксплуатировать

$Дж.(\alpha )=\underset{{а}_{т}\sim {\pi }_{т}}{\mathbb{Э}}[-\alpha \mathrm{вотг}{\pi }_{т}({а}_{т}|{с}_{т})-\alpha \overline{\mathcal{ЧАС}}]$