Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• οργάνωση σημείωσης έκδοσης PDF easy-rl P5, P10 - P12
• joyrl σύγκριση συμπλήρωμα P11-P13
• Οργάνωση εγγράφων OpenAI ⭐ https://spinningup.openai.com/en/latest/index.html

Λήψη pdf τελευταίας έκδοσης
Διεύθυνση: https://github.com/datawhalechina/easy-rl/releases
Εγχώρια διεύθυνση (συνιστάται για εγχώριους αναγνώστες)：
Σύνδεσμος: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw Κωδικός εξαγωγής: us6a

Σύνδεσμος ηλεκτρονικής έκδοσης easy-rl (για κωδικό αντιγραφής)
Σύνδεσμος αναφοράς 2: https://datawhalechina.github.io/joyrl-book/

άλλα:
[Εσφαλμένος σύνδεσμος εγγραφής]
——————
5. Βασικά στοιχεία της βαθιάς ενισχυτικής μάθησης ⭐️
Περιεχόμενο ανοιχτού κώδικα: https://linklearner.com/learn/summary/11
——————————

Πηγή εικόνας

Βελτιστοποίηση εγγύς πολιτικής (PPO)

Πανομοιότυπη στρατηγική: Ο πράκτορας που πρέπει να μάθει και ο πράκτορας που αλληλεπιδρά με το περιβάλλον είναι ο ίδιος.
Ετερογενείς στρατηγικές: ο παράγοντας που μαθαίνει και ο πράκτορας που αλληλεπιδρά με το περιβάλλον είναι διαφορετικοί

Διαβάθμιση πολιτικής: Απαιτεί πολύ χρόνο για τη δειγματοληψία δεδομένων

ίδια στρατηγική $\stackrel{\delta \epsilon \iota \gamma \mu \alpha \tau o\lambda \eta \psi ί\alpha \; \sigma \pi o\upsilon \delta \alpha \iota ό\tau \eta \tau \alpha \varsigma }{⟹}$ διαφορετικές στρατηγικές

PPO: Αποφύγετε δύο διανομές που διαφέρουν πολύ. τον ίδιο αλγόριθμο στρατηγικής
1. Αρχικά στοιχεία βελτιστοποίησης$J(\theta ,{\theta }^{\prime })$
2. Στοιχεία περιορισμού:$\theta$ και${\theta }^{\prime }$ Η απόκλιση KL της ενέργειας εξόδου ($\theta$ και${\theta }^{\prime }$ Όσο πιο παρόμοια τόσο το καλύτερο)

Το PPO έχει έναν προκάτοχο: βελτιστοποίηση πολιτικής περιοχής εμπιστοσύνης (TRPO)
Το TRPO είναι δύσκολο να χειριστεί γιατί αντιμετωπίζει τον περιορισμό απόκλισης KL ως πρόσθετο περιορισμό και δεν τοποθετείται στην αντικειμενική συνάρτηση, επομένως είναι δύσκολο να υπολογιστεί. Επομένως, γενικά χρησιμοποιούμε PPO αντί για TRPO. Οι επιδόσεις του PPO και του TRPO είναι παρόμοιες, αλλά το PPO είναι πολύ πιο εύκολο να εφαρμοστεί από το TRPO.

KL divergence: απόσταση δράσης.Κατανομή πιθανότητας εκτέλεσης μιας ενέργειας απόσταση.

Υπάρχουν δύο κύριες παραλλαγές του αλγορίθμου PPO: εγγύς ποινή βελτιστοποίησης πολιτικής (PPO-penalty) και εγγύς αποκοπή βελτιστοποίησης πολιτικής (PPO-clip).

——————————
P10 Πρόβλημα αραιής ανταμοιβής
1. Επιβραβεύσεις σχεδίασης. Απαιτεί γνώση τομέα
Τι θα λέγατε για την ανάθεση της τελικής ανταμοιβής σε κάθε σχετική ενέργεια;

2. Περιέργεια
Ενότητα εσωτερικής περιέργειας (ICM)
εισαγω:${έ\nu \alpha }_t,{\mu \iota \kappa \rho ό}_t$
Παραγωγή:${\widehat{\mu \iota \kappa \rho ό}}_{t+1}$
Η προβλεπόμενη αξία του δικτύου${\widehat{\mu \iota \kappa \rho ό}}_{t+1}$ με αληθινή αξία${\mu \iota \kappa \rho ό}_{t+1}$ Όσο πιο ανόμοια είναι, τόσο$r_t^{{\rm E}\gamma ώ}$ Το μεγαλύτερο

$r_t^{{\rm E}\gamma ώ}$ : Όσο πιο δύσκολη είναι η πρόβλεψη της μελλοντικής κατάστασης, τόσο μεγαλύτερη είναι η ανταμοιβή για τη δράση. Ενθαρρύνετε την περιπέτεια και την εξερεύνηση.

• Ο δείκτης είναι πολύ απλός και μπορεί να μάθετε μόνο άχρηστα πράγματα.

εξαγωγέας χαρακτηριστικών

Δίκτυο 2:
Είσοδος: διάνυσμα$\mathbf{\varphi }({\mu \iota \kappa \rho ό}_t)$ και$\mathbf{\varphi }({\mu \iota \kappa \rho ό}_{t+1})$

Πρόβλεψη δράσης $\widehat{έ\nu \alpha }$ Όσο πιο κοντά στην πραγματική δράση τόσο το καλύτερο.

3. Μελέτη μαθήματος

Εύκολο -> Δύσκολο

Αντίστροφη μάθηση προγράμματος σπουδών:
Ξεκινώντας από την τελική πιο ιδανική κατάσταση [την ονομάζουμε χρυσή κατάσταση], πηγαίνετε στοΒρείτε την πολιτεία που βρίσκεται πιο κοντά στη χρυσή πολιτεία Ως σκηνοθετημένη «ιδανική» κατάσταση που θέλετε να φτάσει ο πράκτορας. Φυσικά, σκόπιμα θα αφαιρέσουμε κάποιες ακραίες καταστάσεις σε αυτή τη διαδικασία, δηλαδή καταστάσεις που είναι πολύ εύκολες ή πολύ δύσκολες.

4. Ιεραρχική ενισχυτική μάθηση (HRL)
Η στρατηγική του πράκτορα χωρίζεται σε στρατηγικές υψηλού επιπέδου και στρατηγικές χαμηλού επιπέδου Η στρατηγική υψηλού επιπέδου καθορίζει τον τρόπο εκτέλεσης της στρατηγικής χαμηλού επιπέδου με βάση την τρέχουσα κατάσταση.

————————
P11 Εκμάθηση μίμησης
Δεν είμαι σίγουρος για τη σκηνή ανταμοιβής

Εκμάθηση μίμησης (IL)
μαθαίνοντας από την επίδειξη
Εκμάθηση μαθητείας
μαθαίνοντας παρακολουθώντας

Υπάρχουν σαφείς ανταμοιβές: επιτραπέζια παιχνίδια, βιντεοπαιχνίδια
Δεν είναι δυνατή η παροχή σαφών ανταμοιβών: chatbot

Συλλέξτε επιδείξεις εμπειρογνωμόνων: αρχεία ανθρώπινης οδήγησης, ανθρώπινες συνομιλίες

Αντίστροφα, τι είδους λειτουργία ανταμοιβής κάνει ο ειδικός σε αυτές τις ενέργειες;
Η αντίστροφη ενισχυτική μάθηση είναιΒρείτε πρώτα τη συνάρτηση ανταμοιβής, αφού βρείτε τη συνάρτηση ανταμοιβής, χρησιμοποιήστε την ενισχυτική μάθηση για να βρείτε τον βέλτιστο παράγοντα.

Τεχνολογία εκμάθησης μίμησης τρίτου προσώπου

————————
P12 Βαθιά ντετερμινιστική κλίση πολιτικής (DDPG)

Χρησιμοποιήστε στρατηγική επανάληψης εμπειρίας

Ανάλυση πειράματος κατάλυσης [Μέθοδος ελεγχόμενης μεταβλητής]κάθε περιορισμόαντίκτυπο στην έκβαση της μάχης.

---

joyrl:

DDPG_continuous

σε ανάγκηβεβαιότηταστρατηγική καισυνεχής δράσηΥπό την προϋπόθεση του χώρου, αυτός ο τύπος αλγορίθμου θα είναι ένας σχετικά σταθερός αλγόριθμος βασικής γραμμής.

DQN για χώρους συνεχούς δράσης

Βαθιά ντετερμινιστικός αλγόριθμος διαβάθμισης πολιτικής (DDPG)

Ο μηχανισμός επανάληψης εμπειρίας μπορεί να μειώσει τη συσχέτιση μεταξύ των δειγμάτων, να βελτιώσει την αποτελεσματική χρήση των δειγμάτων και να αυξήσει τη σταθερότητα της εκπαίδευσης.

έλλειψη:
1. Δεν μπορεί να χρησιμοποιηθεί σε διακριτό χώρο δράσης
2、Εξαρτάται σε μεγάλο βαθμό από υπερπαραμέτρους
3. Ιδιαίτερα ευαίσθητες αρχικές συνθήκες. Επηρεάζει τη σύγκλιση και την απόδοση του αλγορίθμου
4. Είναι εύκολο να πέσεις στο τοπικό βέλτιστο.

• Λόγω της υιοθέτησης μιας ντετερμινιστικής στρατηγικής, ο αλγόριθμος μπορεί να πέσει σε ένα τοπικό βέλτιστο και να δυσχεράνει την εύρεση της συνολικής βέλτιστης στρατηγικής. Προκειμένου να αυξηθεί η εξερευνησιμότητα, πρέπει να ληφθούν ορισμένα μέτρα, όπως η προσθήκη στρατηγικών θορύβου ή η χρήση άλλων μεθόδων εξερεύνησης.

Το πλεονέκτημα της μαλακής ενημέρωσης είναι ότι είναι πιο ομαλή και πιο αργή, γεγονός που μπορεί να αποφύγει τους κραδασμούς που προκαλούνται από πολύ γρήγορες ενημερώσεις βάρους και να μειώσει τον κίνδυνο απόκλισης στην προπόνηση.

Αλγόριθμος κλίσης πολιτικής διπλής καθυστέρησης ντετερμινιστικής (twin delayed DDPG, TD3)

Αλγόριθμος ντετερμινιστικής κλίσης πολιτικής διπλής καθυστέρησης

Τρεις βελτιώσεις: Διπλό δίκτυο Q, καθυστερημένη ενημέρωση, τακτοποίηση θορύβου
Διπλό Δίκτυο Q : Δύο δίκτυα Q, επιλέξτε αυτό με μικρότερη τιμή Q. Να αντιμετωπίσει το πρόβλημα υπερεκτίμησης της τιμής Q και να βελτιώσει τη σταθερότητα και τη σύγκλιση του αλγορίθμου.

Καθυστερημένη ενημέρωση: Αφήστε τη συχνότητα ενημέρωσης του ηθοποιού να είναι χαμηλότερη από τη συχνότητα κρίσιμης ενημέρωσης

• Σκέψου διπλά

Ο θόρυβος μοιάζει περισσότερο με αΤακτοποίησημε τέτοιο τρόπο πουενημέρωση συνάρτησης τιμήςπερισσότερολείος

OpenAI Gym Library_Pendulum_TD3

Σύνδεσμος διεπαφής εγγράφου OpenAI σχετικά με το TD3

Σύνδεσμος PDF σε χαρτί TD3

PPO_Continuous/Discrete Action Space [OpenAI 201708]

Ο πιο συχνά χρησιμοποιούμενος αλγόριθμος PPO στην ενισχυτική μάθηση
Διακριτή + συνεχής
Γρήγορο και σταθερό, εύκολο στην προσαρμογή των παραμέτρων
αλγόριθμος βάσης

Αναποφάσιστο ΔΤΦ

Στην πράξη, οι περιορισμοί κλιπ χρησιμοποιούνται γενικά επειδή είναι απλούστεροι, έχουν χαμηλότερο υπολογιστικό κόστος και έχουν καλύτερα αποτελέσματα.

Ο αλγόριθμος εκτός πολιτικής μπορείνα επωφεληθούν από την ιστορική εμπειρία, γενικά χρησιμοποιήστε την επανάληψη της εμπειρίας για αποθήκευση και επαναχρησιμοποίηση προηγούμενης εμπειρίας,Η αποτελεσματικότητα χρήσης δεδομένων είναι υψηλή。

Το PPO είναι ένας αλγόριθμος εντός πολιτικής

• Αν και το τμήμα δειγματοληψίας σπουδαιότητας χρησιμοποιεί δείγματα από την παλιά δειγματοληψία ηθοποιών, εμείςΑυτά τα δείγματα δεν χρησιμοποιούνται απευθείας για την ενημέρωση της στρατηγικής. , αντί αυτού, χρησιμοποιείται δειγματοληψία σπουδαιότητας για να διορθωθούν πρώτα τα σφάλματα που προκαλούνται από διαφορετικές κατανομές δεδομένων, ακόμη και αν η διαφορά μεταξύ των δύο κατανομών δειγμάτων μειωθεί όσο το δυνατόν περισσότερο.Με άλλα λόγια, μπορεί να γίνει κατανοητό ότι παρόλο που τα δείγματα μετά τη δειγματοληψία σπουδαιότητας λαμβάνονται με δειγματοληψία από την παλιά στρατηγική, μπορούνΛήφθηκε κατά προσέγγιση από την ενημερωμένη πολιτική, δηλαδή, ο ηθοποιός που θέλουμε να βελτιστοποιήσουμε και ο ηθοποιός που δειγματίζουμε είναι ο ίδιος.

——————————————————

—— OpenAI Documentation_PPO

Τεκμηρίωση OpenAI
Έντυπος σύνδεσμος διασύνδεσης arXiv: Αλγόριθμοι βελτιστοποίησης εγγύς πολιτικής

PPO: αλγόριθμος on-policy, κατάλληλος για διακριτούς ή συνεχείς χώρους δράσης.Πιθανό τοπικό βέλτιστο

Το κίνητρο για το PPO είναι το ίδιο με το TRPO: πώς να αξιοποιήσετε τα υπάρχοντα δεδομέναΚάντε το μεγαλύτερο δυνατό βήμα βελτίωσης στη στρατηγική σας, χωρίς να το αλλάξετε πολύ και να προκαλέσετε κατά λάθος συντριβή απόδοσης;
Το TRPO επιχειρεί να λύσει αυτό το πρόβλημα με μια εξελιγμένη προσέγγιση δεύτερης τάξης, ενώ το PPO είναι μια προσέγγιση πρώτης τάξης που χρησιμοποιεί κάποια άλλα κόλπα για να διατηρήσει τη νέα στρατηγική κοντά στην παλιά.
Η μέθοδος PPO είναι πολύ πιο απλή στην εφαρμογή και, εμπειρικά, αποδίδει τουλάχιστον το ίδιο καλά με το TRPO.

Υπάρχουν δύο κύριες παραλλαγές του PPO: PPO-Penalty και PPO-Clip.

• Το PPO-Penalty επιλύει περίπου ενημερώσεις περιορισμών KL όπως το TRPO, αλλά τιμωρεί την απόκλιση KL στη συνάρτηση αντικειμενικού αντί να την κάνει σκληρό περιορισμό και προσαρμόζει αυτόματα τον συντελεστή ποινής κατά τη διάρκεια της προπόνησης, ώστε να κλιμακώνεται κατάλληλα.
• Το PPO-Clip δεν έχει απόκλιση KL και κανένα περιορισμό στην αντικειμενική συνάρτηση. Αντίθετα, βασίζεται σε συγκεκριμένη προσαρμογή της αντικειμενικής συνάρτησης για την αφαίρεση του κινήτρου για τη νέα στρατηγική να απομακρυνθεί από την παλιά στρατηγική.
  PPO-Clip (κύρια παραλλαγή που χρησιμοποιείται από το OpenAl).

Ψευδοκωδικός αλγόριθμου PPO-Clip

Αλγόριθμος: PPO-Clip
1: Εισαγωγή: παράμετροι αρχικής στρατηγικής${\theta }_0$, παράμετροι συνάρτησης αρχικής τιμής ${\varphi }_0$
2：$\mathbf{\Gamma \iota \alpha }\kappa =0,1,2,\dots \mathbf{\kappa ά\nu \omega }$：
3：        ~~~~~~       Τρέχοντας την πολιτική στο περιβάλλον ${\pi }_{\kappa }=\pi ({\theta }_{\kappa })$ Συλλέξτε σετ τροχιών D k = { τ i } {cal D}_k={tau_i}ρεκ​={τΕγώ​}
4：        ~~~~~~       Υπολογισμός ανταμοιβών (ανταμοιβές σε εξέλιξη) ${\hat{R}}_t$ ▢ ${\hat{R}}_t$ κανόνες υπολογισμού
5：        ~~~~~~       Υπολογίστε την εκτίμηση του πλεονεκτήματος, με βάση τη συνάρτηση τρέχουσας τιμής $V_{{\varphi }_{\kappa }}$ του${\widehat{{\rm E}{\rm N}{\rm A}}}_t$ (Χρησιμοποιήστε οποιαδήποτε μέθοδο εκτίμησης κυριαρχίας)       ~~~~~       ▢ Ποιες είναι οι τρέχουσες μέθοδοι εκτίμησης πλεονεκτημάτων;
6：        ~~~~~~       Ενημερώστε την πολιτική μεγιστοποιώντας τη συνάρτηση στόχου PPO-Clip:
            ~~~~~~~~~~~            
${\theta }_{\kappa +1}=\mathrm{\alpha \rho \sigma o\lambda }\underset{\theta }{\mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }}\frac{1}{|{\mathcal{\rho \epsilon }}_{\kappa }|{\rm T}}\sum _{\tau \in {\mathcal{\rho \epsilon }}_{\kappa }}\sum _{t=0}^{{\rm T}}\mathrm{\epsilon \lambda ά\chi }(\frac{{\pi }_{\theta }({έ\nu \alpha }_t|{\mu \iota \kappa \rho ό}_t)}{{\pi }_{{\theta }_{\kappa }}({έ\nu \alpha }_t|{\mu \iota \kappa \rho ό}_t)}{{\rm E}{\rm N}{\rm A}}^{{\pi }_{{\theta }_{\kappa }}}({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t),\sigma o\lambda (ϵ,{{\rm E}{\rm N}{\rm A}}^{{\pi }_{{\theta }_{\kappa }}}({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t)))$       ~~~~~       ▢ Πώς να προσδιορίσετε τον τύπο ενημέρωσης στρατηγικής;
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_{\kappa }}$ : Διάνυσμα παραμέτρων στρατηγικής πριν από την ενημέρωση. Σημαντική δειγματοληψία. Δειγματοληψία από παλιές στρατηγικές.
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Γενική Στοχαστική Κλίση Ανάβαση + Αδάμ
7：        ~~~~~~       μέσο τετραγωνικό σφάλμασυνάρτηση προσαρμοσμένης τιμής παλινδρόμησης:
            ~~~~~~~~~~~            
${\varphi }_{\kappa +1}=\mathrm{\alpha \rho \sigma o\lambda }\underset{\varphi }{\mathrm{\epsilon \lambda ά\chi }}\frac{1}{|{\mathcal{\rho \epsilon }}_{\kappa }|{\rm T}}\sum _{\tau \in {\mathcal{\rho \epsilon }}_{\kappa }}\sum _{t=0}^{{\rm T}}(V_{\varphi }({\mu \iota \kappa \rho ό}_t)-{\hat{R}}_t{)}^2$
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            Γενική κλίση κατάβασης
8：$\mathbf{\tau έ\lambda o\varsigma }\mathbf{\Gamma \iota \alpha }$
             ~~~~~~~~~~~~             

$dots$$\dots$

$\sigma o\lambda (ϵ,{\rm E}{\rm N}{\rm A})=\{\begin{array}{rlr}& (1+ϵ){\rm E}{\rm N}{\rm A}& {\rm E}{\rm N}{\rm A}\ge 0\\ & (1-ϵ){\rm E}{\rm N}{\rm A}& {\rm E}{\rm N}{\rm A}<0\end{array}$

στο χαρτίΕκτίμηση πλεονεκτήματος:

${\widehat{{\rm E}{\rm N}{\rm A}}}_t=-V({\mu \iota \kappa \rho ό}_t)+\underset{{\hat{R}}_t???}{\underbrace{r_t+\gamma r_{t+1}+\cdots +{\gamma }^{{\rm T}-t+1}{r}_{{\rm T}-1}+{\gamma }^{{\rm T}-t}V({\mu \iota \kappa \rho ό}_{{\rm T}})}}$

φτιαχνω, κανω ${\Delta }_t=r_t+\gamma V({\mu \iota \kappa \rho ό}_{t+1})-V({\mu \iota \kappa \rho ό}_t)$
αλλά$r_t={\Delta }_t-\gamma V({\mu \iota \kappa \rho ό}_{t+1})+V({\mu \iota \kappa \rho ό}_t)$

Υποκατάστατο ${\widehat{{\rm E}{\rm N}{\rm A}}}_t$ έκφραση

$\begin{array}{rl}{\widehat{{\rm E}{\rm N}{\rm A}}}_t& =-V({\mu \iota \kappa \rho ό}_t)+r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+\cdots +{\gamma }^{{\rm T}-t}{r}_{{\rm T}-2}+{\gamma }^{{\rm T}-t+1}{r}_{{\rm T}-1}+{\gamma }^{{\rm T}-t}V({\mu \iota \kappa \rho ό}_{{\rm T}})\\ & =-V({\mu \iota \kappa \rho ό}_t)+r_t+\gamma r_{t+1}+\cdots +{\gamma }^{{\rm T}-t+1}{r}_{{\rm T}-1}+{\gamma }^{{\rm T}-t}V({\mu \iota \kappa \rho ό}_{{\rm T}})\\ & =-V({\mu \iota \kappa \rho ό}_t)+\\ & {\Delta }_t-\gamma V({\mu \iota \kappa \rho ό}_{t+1})+V({\mu \iota \kappa \rho ό}_t)+\\ & \gamma ({\Delta }_{t+1}-\gamma V({\mu \iota \kappa \rho ό}_{t+2})+V({\mu \iota \kappa \rho ό}_{t+1}))+\\ & {\gamma }^2({\Delta }_{t+2}-\gamma V({\mu \iota \kappa \rho ό}_{t+3})+V({\mu \iota \kappa \rho ό}_{t+1}))+\\ & \cdots +\\ & {\gamma }^{{\rm T}-t}({\Delta }_{{\rm T}-t}-\gamma V({\mu \iota \kappa \rho ό}_{{\rm T}-t+1})+V({\mu \iota \kappa \rho ό}_{{\rm T}-t}))+\\ & {\gamma }^{{\rm T}-t+1}({\Delta }_{{\rm T}-1}-\gamma V({\mu \iota \kappa \rho ό}_{{\rm T}})+V({\mu \iota \kappa \rho ό}_{{\rm T}-1}))+\\ & {\gamma }^{{\rm T}-t}V({\mu \iota \kappa \rho ό}_{{\rm T}})\\ & ={\Delta }_t+\gamma {\Delta }_{t+1}+{\gamma }^2{\Delta }_{t+2}+\cdots +{\gamma }^{{\rm T}-t}{\Delta }_{{\rm T}-t}+{\gamma }^{{\rm T}-t+1}{\Delta }_{{\rm T}-1}\end{array}$

Το Clipping λειτουργεί ως ρυθμιστικός παράγοντας αφαιρώντας το κίνητρο για δραστικές αλλαγές στην πολιτική.υπερπαράμετροι $ϵ$ Αντιστοιχεί στην απόσταση μεταξύ της νέας στρατηγικής και της παλιάς στρατηγικής。

Είναι ακόμα πιθανό ότι αυτό το είδος αποκοπής θα οδηγήσει τελικά σε μια νέα στρατηγική που απέχει πολύ από την παλιά στρατηγική Κατά την εφαρμογή εδώ, χρησιμοποιούμε μια ιδιαίτερα απλή μέθοδο:Σταματήστε νωρίς . Εάν η μέση απόκλιση KL της νέας πολιτικής από την παλιά πολιτική υπερβαίνει ένα όριο, σταματάμε την εκτέλεση του βήματος διαβάθμισης.

Συνάρτηση αντικειμενικού PPO απλή σύνδεση παραγωγής
Η αντικειμενική λειτουργία του PPO-Clip είναι:
  ~  
${\mu \epsilon \gamma ά\lambda o}_{{\theta }_{\kappa }}^{\mathrm{\Sigma {\rm Y}{\rm N}\Delta {\rm E}{\rm T}{\rm H}{\rm P}{\rm A}\Sigma }}(\theta )=\underset{\mu \iota \kappa \rho ό,έ\nu \alpha \sim {\theta }_{\kappa }}{\mathrm{\mu \iota }}\left[\mathrm{\epsilon \lambda ά\chi }\right(\frac{{\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)}{{\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)}{{\rm E}{\rm N}{\rm A}}^{{\theta }_{\kappa }}(\mu \iota \kappa \rho ό,έ\nu \alpha ),\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(\frac{{\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)}{{\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)},1-ϵ,1+ϵ){{\rm E}{\rm N}{\rm A}}^{{\theta }_{\kappa }}(\mu \iota \kappa \rho ό,έ\nu \alpha )\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{\mu \iota \kappa \rho ό,έ\nu \alpha \sim {\theta }_{\kappa }}{\mathrm{\mu \iota }}$
  ~  
Οχι.$\kappa$ Παράμετροι στρατηγικής για επαναλήψεις${\theta }_{\kappa }$， $ϵ$ είναι μια μικρή υπερπαράμετρος.
στήνω$ϵ\in (0,1)$, ορισμός
$\phi ά(r,{\rm E}{\rm N}{\rm A},ϵ)\doteq \mathrm{\epsilon \lambda ά\chi }(r{\rm E}{\rm N}{\rm A},\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(r,1-ϵ,1+ϵ){\rm E}{\rm N}{\rm A})$
πότε ${\rm E}{\rm N}{\rm A}\ge 0$
$\begin{array}{rl}\phi ά(r,{\rm E}{\rm N}{\rm A},ϵ)& =\mathrm{\epsilon \lambda ά\chi }(r{\rm E}{\rm N}{\rm A},\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(r,1-ϵ,1+ϵ){\rm E}{\rm N}{\rm A})\\ & ={\rm E}{\rm N}{\rm A}\mathrm{\epsilon \lambda ά\chi }(r,\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(r,1-ϵ,1+ϵ))\\ & ={\rm E}{\rm N}{\rm A}\mathrm{\epsilon \lambda ά\chi }(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & ={\rm E}{\rm N}{\rm A}\left\{\begin{array}{rlr}& \mathrm{\epsilon \lambda ά\chi }(r,1+ϵ)& r\ge 1+ϵ\\ & \mathrm{\epsilon \lambda ά\chi }(r,r)& r\in (1-ϵ,1+ϵ)\\ & \mathrm{\epsilon \lambda ά\chi }(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & ={\rm E}{\rm N}{\rm A}\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & r& r\le 1-ϵ\end{array}\right\}\Sigma ύ\mu \phi \omega \nu \alpha \; \mu \epsilon \; \tau o\; \epsilon ύ\rho o\varsigma \; \sigma \tau \alpha \; \delta \epsilon \xi \iota ά\\ & ={\rm E}{\rm N}{\rm A}\mathrm{\epsilon \lambda ά\chi }(r,1+ϵ)\\ & =\mathrm{\epsilon \lambda ά\chi }(r{\rm E}{\rm N}{\rm A},(1+ϵ){\rm E}{\rm N}{\rm A})\end{array}$
  ~  
πότε ${\rm E}{\rm N}{\rm A}<0$
$\begin{array}{rl}\phi ά(r,{\rm E}{\rm N}{\rm A},ϵ)& =\mathrm{\epsilon \lambda ά\chi }(r{\rm E}{\rm N}{\rm A},\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(r,1-ϵ,1+ϵ){\rm E}{\rm N}{\rm A})\\ & ={\rm E}{\rm N}{\rm A}\mathrm{{\rm M}έ\nu \alpha {\rm X}}(r,\mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(r,1-ϵ,1+ϵ))\\ & ={\rm E}{\rm N}{\rm A}\mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & ={\rm E}{\rm N}{\rm A}\left\{\begin{array}{rlr}& \mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(r,1+ϵ)& r\ge 1+ϵ\\ & \mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(r,r)& r\in (1-ϵ,1+ϵ)\\ & \mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & ={\rm E}{\rm N}{\rm A}\left\{\begin{array}{rlr}& r& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\}\Sigma ύ\mu \phi \omega \nu \alpha \; \mu \epsilon \; \tau o\; \epsilon ύ\rho o\varsigma \; \sigma \tau \alpha \; \delta \epsilon \xi \iota ά\\ & ={\rm E}{\rm N}{\rm A}\mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(r,1-ϵ)\\ & =\mathrm{{\rm M}{\rm E}\gamma ώn}(r{\rm E}{\rm N}{\rm A},(1-ϵ){\rm E}{\rm N}{\rm A})\end{array}$
  ~  
Συνοψίζοντας: ορίζεται$\sigma o\lambda (ϵ,{\rm E}{\rm N}{\rm A})$
$\sigma o\lambda (ϵ,{\rm E}{\rm N}{\rm A})=\{\begin{array}{rlr}& (1+ϵ){\rm E}{\rm N}{\rm A}& {\rm E}{\rm N}{\rm A}\ge 0\\ & (1-ϵ){\rm E}{\rm N}{\rm A}& {\rm E}{\rm N}{\rm A}<0\end{array}$

Γιατί αυτός ο ορισμός εμποδίζει τη νέα στρατηγική να απομακρυνθεί πολύ από την παλιά στρατηγική;
Οι αποτελεσματικές μέθοδοι δειγματοληψίας απαιτούν νέες στρατηγικές ${\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)$ και παλιές στρατηγικές${\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)$ Η διαφορά μεταξύ των δύο κατανομών δεν μπορεί να είναι πολύ μεγάλη

1. Όταν το πλεονέκτημα είναι θετικό

$\mu \epsilon \gamma ά\lambda o(\mu \iota \kappa \rho ό,έ\nu \alpha ,{\theta }_{\kappa },\theta )=\mathrm{\epsilon \lambda ά\chi }(\frac{{\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)}{{\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)},1+ϵ){{\rm E}{\rm N}{\rm A}}^{{\pi }_{{\theta }_{\kappa }}}(\mu \iota \kappa \rho ό,έ\nu \alpha )$
Συνάρτηση πλεονεκτήματος: Βρείτε ένα συγκεκριμένο ζεύγος κατάστασης-δράσης με περισσότερες ανταμοιβές -&gt; αυξήστε το βάρος του ζεύγους κατάστασης-δράσης.

Όταν ένα ζεύγος κατάστασης-δράσης $(\mu \iota \kappa \rho ό,έ\nu \alpha )$ είναι θετική, τότε εάν η ενέργεια$έ\nu \alpha$ είναι πιο πιθανό να εκτελεστεί, δηλ. αν${\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)$ Αυξήστε και ο στόχος θα αυξηθεί.
Το min σε αυτό το στοιχείο περιορίζει την αντικειμενική συνάρτηση να αυξάνεται μόνο σε μια συγκεκριμένη τιμή
μια φορά${\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)>(1+ϵ){\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)$, min trigers, περιορίζοντας την τιμή αυτού του στοιχείου σε $(1+ϵ){\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)$。
η νέα πολιτική δεν ωφελείται όταν απομακρύνεται πολύ από την παλιά πολιτική.
Η νέα στρατηγική δεν θα ωφεληθεί από την απομάκρυνση από την παλιά στρατηγική.

2. Όταν το πλεονέκτημα είναι αρνητικό

$\mu \epsilon \gamma ά\lambda o(\mu \iota \kappa \rho ό,έ\nu \alpha ,{\theta }_{\kappa },\theta )=\mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }(\frac{{\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)}{{\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)},1-ϵ){{\rm E}{\rm N}{\rm A}}^{{\pi }_{{\theta }_{\kappa }}}(\mu \iota \kappa \rho ό,έ\nu \alpha )$

Όταν ένα ζεύγος κατάστασης-δράσης $(\mu \iota \kappa \rho ό,έ\nu \alpha )$ Το πλεονέκτημα είναι αρνητικό, τότε αν η δράση$έ\nu \alpha$ είναι ακόμη λιγότερο πιθανό, δηλαδή αν${\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)$ μειωθεί, η αντικειμενική συνάρτηση θα αυξηθεί. Αλλά το μέγιστο σε αυτόν τον όρο περιορίζει πόσο μπορεί να αυξηθεί η αντικειμενική συνάρτηση.
μια φορά${\pi }_{\theta }(έ\nu \alpha |\mu \iota \kappa \rho ό)<(1-ϵ){\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)$, μέγιστοι κανόνες ετικέτας, περιορίζοντας την τιμή αυτού του στοιχείου σε $(1-ϵ){\pi }_{{\theta }_{\kappa }}(έ\nu \alpha |\mu \iota \kappa \rho ό)$。

Και πάλι: η νέα πολιτική δεν ωφελείται όταν απομακρύνεται πολύ από την παλιά πολιτική.
Η νέα στρατηγική δεν θα ωφεληθεί από την απομάκρυνση από την παλιά στρατηγική.

TD3_μόνο συνεχόμενα: Twin Delayed Deep Deterministic Policy Gradient [ICML 2018 (Καναδάς) Πανεπιστήμιο McGill]

Πηγή εικόνας

OpenAI Documentation_TD3
Σύνδεσμος από χαρτί

Ενώ το DDPG μπορεί μερικές φορές να επιτύχει εξαιρετική απόδοση, είναι συχνά ασταθές όταν πρόκειται για υπερπαραμέτρους και άλλους τύπους συντονισμού.
Ένας συνηθισμένος τρόπος αποτυχίας DDPG είναι ότι η εκμάθηση συνάρτησης Q αρχίζει να υπερεκτιμά σημαντικά την τιμή Q, η οποία στη συνέχεια προκαλεί τη διακοπή της πολιτικής επειδή εκμεταλλεύεται το σφάλμα στη συνάρτηση Q.
Το Twin Delayed DDPG (TD3) είναι ένας αλγόριθμος που λύνει αυτό το πρόβλημα εισάγοντας τρεις βασικές τεχνικές:
1、Περικομμένη διπλή Q-Learning。

• Το TD3 μαθαίνει δύο συναρτήσεις Q αντί για μία (εξ ου και το "δίδυμο") και χρησιμοποιεί τη μικρότερη από τις δύο τιμές Q για να σχηματίσει τον στόχο στη συνάρτηση απώλειας σφάλματος Bellman.

2、Καθυστέρηση ενημέρωσης πολιτικής。

• Το TD3 ενημερώνει την πολιτική (και το δίκτυο προορισμού) λιγότερο συχνά από τη συνάρτηση Q. Το έγγραφο συνιστά την ενημέρωση της πολιτικής κάθε φορά που η συνάρτηση Q ενημερώνεται δύο φορές.

3. Εξομάλυνση στρατηγικής στόχων.

• Το TD3 προσθέτει θόρυβο στην ενέργεια στόχο, καθιστώντας δυσκολότερη την εκμετάλλευση σφαλμάτων στη συνάρτηση Q από την πολιτική, εξομαλύνοντας το Q σε όλες τις αλλαγές ενεργειών.

Το TD3 είναι ένας αλγόριθμος εκτός πολιτικής με τον οποίο μπορεί να χρησιμοποιηθεί μόνοσυνεχήςΤο περιβάλλον του χώρου δράσης.

Ψευδοκωδικός αλγόριθμου TD3

Αλγόριθμος: TD3
Χρησιμοποιήστε τυχαίες παραμέτρους${\theta }_1,{\theta }_2,\varphi$ Αρχικοποίηση δικτύου κριτικών$Q_{{\theta }_1},Q_{{\theta }_2}$, και το δίκτυο ηθοποιών ${\pi }_{\varphi }$
Αρχικοποίηση δικτύου προορισμού${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
Εκκίνηση σετ buffer αναπαραγωγής$\mathcal{\sigma \iota }$
$\mathbf{\Gamma \iota \alpha }t=1\pi \rho o\varsigma \; \tau \eta \nu {\rm T}$ ：
       ~~~~~~       Επιλέξτε δράση με θόρυβο εξερεύνησης $έ\nu \alpha \sim {\pi }_{\varphi }(\mu \iota \kappa \rho ό)+ϵ,ϵ\sim \mathcal{{\rm N}}(0,\sigma )$, ανταμοιβή παρατήρησης $r$ και νέο καθεστώς${\mu \iota \kappa \rho ό}^{\prime }$
       ~~~~~~       Η μεταβατική πλειάδα $(\mu \iota \kappa \rho ό,έ\nu \alpha ,r,{\mu \iota \kappa \rho ό}^{\prime })$ κατάθεση σε$\mathcal{\sigma \iota }$ Μέσης
       ~~~~~~       από $\mathcal{\sigma \iota }$ Δειγματοληψία μικρών παρτίδων${\rm N}$ μεταβάσεις$(\mu \iota \kappa \rho ό,έ\nu \alpha ,r,{\mu \iota \kappa \rho ό}^{\prime })$
$\widetilde{έ\nu \alpha }\leftarrow {\pi }_{{\varphi }^{\prime }}({\mu \iota \kappa \rho ό}^{\prime })+ϵ,ϵ\sim \mathrm{\sigma \upsilon \nu \delta \epsilon \tau ή\rho \alpha \varsigma }(\mathcal{{\rm N}}(0,\tilde{\sigma }),-\nu \tau o,\nu \tau o)$
$y\leftarrow r+\gamma \underset{{\rm E}\gamma ώ=1,2}{\mathrm{\epsilon \lambda ά\chi }}{Q}_{{\theta }_{{\rm E}\gamma ώ}^{\prime }}({\mu \iota \kappa \rho ό}^{\prime },\widetilde{έ\nu \alpha })$
       ~~~~~~       Κριτικές ενημέρωσης ${\theta }_{{\rm E}\gamma ώ}\leftarrow \mathrm{\alpha \rho \sigma o\lambda }\underset{{\theta }_{{\rm E}\gamma ώ}}{\mathrm{\epsilon \lambda ά\chi }}{{\rm N}}^{-1}\sum (y-Q_{{\theta }_{{\rm E}\gamma ώ}}(\mu \iota \kappa \rho ό,έ\nu \alpha ){)}^2$
       ~~~~~~        $\mathbf{\alpha \nu }t\%\rho \epsilon$：
            ~~~~~~~~~~~            Ενημέρωση μέσω ντετερμινιστικής κλίσης πολιτικής $\varphi$
${\nabla }_{\varphi }J(\varphi )={{\rm N}}^{-1}\sum {\nabla }_{έ\nu \alpha }{Q}_{{\theta }_1}(\mu \iota \kappa \rho ό,έ\nu \alpha ){|}_{έ\nu \alpha ={\pi }_{\varphi }(\mu \iota \kappa \rho ό)}{\nabla }_{\varphi }{\pi }_{\varphi }(\mu \iota \kappa \rho ό)$
            ~~~~~~~~~~~            Ενημέρωση δικτύου στόχου:
${\theta }_{{\rm E}\gamma ώ}^{\prime }\leftarrow \tau {\theta }_{{\rm E}\gamma ώ}+(1-\tau ){\theta }_{{\rm E}\gamma ώ}^{\prime }$$\tau$: Στόχος ο ρυθμός ενημέρωσης
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$\mathbf{\tau έ\lambda o\varsigma }\mathbf{\alpha \nu }$
$\mathbf{\tau έ\lambda o\varsigma }\mathbf{\Gamma \iota \alpha }$

Soft Actor-Critic: SAC_Continuous/Discrete Action Space [Google Brain τελευταία έκδοση 201906]

Πηγή εικόνας

Μεγιστοποιήστε την εντροπία της πολιτικής, καθιστώντας έτσι την πολιτική πιο ισχυρή.

ντετερμινιστική στρατηγική Σημαίνει ότι με δεδομένη την ίδια κατάσταση, επιλέγετε πάντα την ίδια ενέργεια
στρατηγική τυχαίας Σημαίνει ότι υπάρχουν πολλές πιθανές ενέργειες που μπορούν να επιλεγούν σε μια δεδομένη κατάσταση.

Στην πραγματική εφαρμογή, εάν το επιτρέπουν οι συνθήκες, θα το κάνουμεΠροσπαθήστε να χρησιμοποιήσετεστρατηγική τυχαίας, όπως A2C, PPO, κ.λπ., επειδή είναι πιο ευέλικτο, πιο στιβαρό και πιο σταθερό.

Η εκμάθηση ενίσχυσης της μέγιστης εντροπίας πιστεύει ότι, παρόλο που αυτή τη στιγμή έχουμε ώριμες στρατηγικές τυχαίας, δηλαδή αλγόριθμους όπως το AC, δεν έχουμε ακόμη επιτύχει τη βέλτιστη τυχαιότητα.Ως εκ τούτου, εισάγει αεντροπία πληροφοριώνέννοια, σεΜεγιστοποιήστε τη σωρευτική ανταμοιβή μεγιστοποιώντας ταυτόχρονα την εντροπία της πολιτικής, καθιστώντας τη στρατηγική πιο ισχυρή και επιτυγχάνοντας τη βέλτιστη στρατηγική τυχαιότητας.

——————————————————

—— OpenAI Documentation_SAC

Σύνδεσμος διεπαφής OpenAI Documentation_SAC
  ~  
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor, Haarnoja et al, 201808 ICML 2018
Αλγόριθμοι και εφαρμογές Soft Actor-Critic, Haarnoja et al, 201901
Μαθαίνοντας να περπατάτε μέσω της Εκμάθησης Βαθιάς Ενίσχυσης, Haarnoja et al, 201906 RSS2019

Το Soft Actor Critic (SAC) βελτιστοποιεί τις τυχαίες στρατηγικές με τρόπο εκτός πολιτικής.

DDPG + στοχαστική βελτιστοποίηση στρατηγικής

Δεν είναι άμεσος διάδοχος του TD3 (κυκλοφόρησε περίπου την ίδια εποχή).

Ενσωματώνει το κομμένο κόλπο double-Q και λόγω της εγγενούς τυχαιότητας της στρατηγικής της SAC, επωφελείται επίσης απόεξομάλυνση της πολιτικής στόχου。

Ένα βασικό χαρακτηριστικό του SAC είναι κανονικοποίηση εντροπίας κανονικοποίηση εντροπίας。
Η πολιτική έχει εκπαιδευτεί για να μεγιστοποιεί την αντιστάθμιση μεταξύ της αναμενόμενης ανταμοιβής και της εντροπίας,Η εντροπία είναι ένα μέτρο της τυχαιότητας μιας πολιτικής。
Αυτό συνδέεται στενά με την αντιστάθμιση μεταξύ εξερεύνησης και εκμετάλλευσης: η αύξηση της εντροπίας οδηγεί σεΠερισσότερα για εξερεύνηση,αυτό είναι εντάξειΕπιτάχυνση της μετέπειτα μάθησης .είναι εντάξειΑποτρέψτε την πρόωρη σύγκλιση της πολιτικής σε ένα κακό τοπικό βέλτιστο。

Μπορεί να χρησιμοποιηθεί τόσο σε χώρο συνεχούς δράσης όσο και σε διακριτό χώρο δράσης.

υπάρχει Εντροπία-Regularized Reinforcement Learning, ο πράκτορας αποκτά καιΗ εντροπία της πολιτικής σε αυτό το χρονικό βήμαΑνάλογες ανταμοιβές.
Αυτή τη στιγμή το πρόβλημα RL περιγράφεται ως:

${\pi }^{\ast }=\mathrm{\alpha \rho \sigma o\lambda }\underset{\pi }{\mathrm{{\rm M}έ\gamma \iota \sigma \tau \eta }}\underset{\tau \sim \pi }{\mathrm{\mu \iota }}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t,{\mu \iota \kappa \rho ό}_{t+1})+\alpha H(\pi (\cdot |{\mu \iota \kappa \rho ό}_t)))]$

σε $\alpha >0$ είναι ο συντελεστής αντιστάθμισης.
Συνάρτηση τιμής κατάστασης συμπεριλαμβανομένης της ανταμοιβής εντροπίας σε κάθε χρονικό βήμα$V^{\pi }$ Για:

$V^{\pi }(\mu \iota \kappa \rho ό)=\underset{\tau \sim \pi }{\mathrm{\mu \iota }}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t,{\mu \iota \kappa \rho ό}_{t+1})+\alpha H(\pi (\cdot |{\mu \iota \kappa \rho ό}_t)))|{\mu \iota \kappa \rho ό}_0=\mu \iota \kappa \rho ό]$

Μια συνάρτηση τιμής ενέργειας που περιλαμβάνει την ανταμοιβή εντροπίας για κάθε χρονικό βήμα εκτός από το πρώτο χρονικό βήμα $Q^{\pi }$:

$Q^{\pi }(\mu \iota \kappa \rho ό,έ\nu \alpha )=\underset{\tau \sim \pi }{\mathrm{\mu \iota }}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(R({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t,{\mu \iota \kappa \rho ό}_{t+1})+\alpha \sum _{t=1}^{\infty }H(\pi (\cdot |{\mu \iota \kappa \rho ό}_t)))|{\mu \iota \kappa \rho ό}_0=\mu \iota \kappa \rho ό,{έ\nu \alpha }_0=έ\nu \alpha ]$

• μερικά χαρτιά $Q^{\pi }$ Περιέχει την ανταμοιβή εντροπίας για το πρώτο βήμα

$V^{\pi }$ και$Q^{\pi }$ Η σχέση μεταξύ είναι:

$V^{\pi }(\mu \iota \kappa \rho ό)=\underset{έ\nu \alpha \sim \pi }{\mathrm{\mu \iota }}[Q^{\pi }(\mu \iota \kappa \rho ό,έ\nu \alpha )]+\alpha H(\pi (\cdot |\mu \iota \kappa \rho ό))$

σχετικά με $Q^{\pi }$ Ο τύπος Bellman είναι:

$\begin{array}{rl}{Q}^{\pi }(\mu \iota \kappa \rho ό,έ\nu \alpha )& =\underset{\genfrac{}{}{0ex}{}{{\mu \iota \kappa \rho ό}^{\prime }\sim \Pi }{{έ\nu \alpha }^{\prime }\sim \pi }}{\mathrm{\mu \iota }}[R(\mu \iota \kappa \rho ό,έ\nu \alpha ,{\mu \iota \kappa \rho ό}^{\prime })+\gamma (Q^{\pi }({\mu \iota \kappa \rho ό}^{\prime },{έ\nu \alpha }^{\prime })+\alpha H(\pi (\cdot |{\mu \iota \kappa \rho ό}^{\prime })))]\\ & =\underset{{\mu \iota \kappa \rho ό}^{\prime }\sim \Pi }{\mathrm{\mu \iota }}[R(\mu \iota \kappa \rho ό,έ\nu \alpha ,{\mu \iota \kappa \rho ό}^{\prime })+\gamma V^{\pi }({\mu \iota \kappa \rho ό}^{\prime })]\end{array}$

Η SAC μαθαίνει μια πολιτική ταυτόχρονα ${\pi }_{\theta }$ και δύο$Q$ λειτουργία$Q_{{\varphi }_1},Q_{{\varphi }_2}$。
Υπάρχουν επί του παρόντος δύο παραλλαγές του τυπικού SAC: η μία χρησιμοποιεί μια σταθερήΣυντελεστής τακτοποίησης εντροπίας $\alpha$, άλλο αλλάζοντας κατά τη διάρκεια της προπόνησης $\alpha$ για την επιβολή περιορισμών εντροπίας.
Η τεκμηρίωση του OpenAI χρησιμοποιεί μια έκδοση με σταθερό συντελεστή τακτοποίησης εντροπίας, αλλά στην πράξη συχνά προτιμάταιπεριορισμός εντροπίαςπαραλαγή.

Όπως φαίνεται παρακάτω, στο $\alpha$ Στη σταθερή έκδοση, εκτός από την τελευταία εικόνα που έχει εμφανή πλεονεκτήματα, οι άλλες έχουν μόνο ελαφρά πλεονεκτήματα, βασικά τα ίδια με$\alpha$ Η έκδοση εκμάθησης παραμένει η ίδια ενώ βρίσκεστε$\alpha$ Οι μεσαίες δύο εικόνες όπου η εκμάθηση έχει πλεονεκτήματα είναι πιο εμφανείς.

Πηγή εικόνας

SAC VSTD3:
  ~  
Ίδιο σημείο:
1. Και οι δύο συναρτήσεις Q μαθαίνονται ελαχιστοποιώντας το MSBE (Μέσο τετράγωνο σφάλμα Bellman) με παλινδρόμηση σε έναν κοινό στόχο.
2. Χρησιμοποιήστε το δίκτυο στόχου Q για να υπολογίσετε τον κοινό στόχο και πραγματοποιήστε υπολογισμό του μέσου όρου πολυάκ στις παραμέτρους του δικτύου Q κατά τη διάρκεια της εκπαιδευτικής διαδικασίας για να αποκτήσετε το δίκτυο στόχου Q.
3. Ο κοινός στόχος χρησιμοποιεί την τεχνική του περικομμένου διπλού Q.
  ~  
διαφορά:
1. Το SAC περιέχει όρο κανονικοποίησης εντροπίας
2. Η επόμενη ενέργεια κατάστασης που χρησιμοποιείται στον στόχο SAC προέρχεται απόΤρέχουσα στρατηγική, αντί για τη στρατηγική στόχο.
3. Δεν υπάρχει σαφής στρατηγική στόχος για εξομάλυνση. Το TD3 εκπαιδεύει μια ντετερμινιστική πολιτική μέσω ενεργειών προς την επόμενη κατάστασηΠροσθέστε τυχαίο θόρυβο για να επιτευχθεί ομαλότητα. Το SAC εκπαιδεύει μια τυχαία πολιτική και ο θόρυβος από την τυχαιότητα είναι αρκετός για να επιτευχθούν παρόμοια αποτελέσματα.

Ψευδοκωδικός αλγόριθμου SAC

Αλγόριθμος: Soft Actor-Critic SAC
εισαγω:${\theta }_1,{\theta }_2,\varphi$ Παράμετροι αρχικοποίησης
Αρχικοποίηση παραμέτρων:
       ~~~~~~       Αρχικοποίηση βαρών δικτύου στόχου:${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       Η ομάδα αναπαραγωγής προετοιμάζεται ώστε να είναι άδεια:$\mathcal{\rho \epsilon }\leftarrow \varnothing$
$\mathbf{\Gamma \iota \alpha }$ κάθε επανάληψη$\mathbf{\kappa ά\nu \omega }$ ：
       ~~~~~~       $\mathbf{\Gamma \iota \alpha }$ Κάθε βήμα περιβάλλοντος$\mathbf{\kappa ά\nu \omega }$ ：
            ~~~~~~~~~~~            Δείγματα ενεργειών από μια πολιτική: ${έ\nu \alpha }_t\sim {\pi }_{\varphi }({έ\nu \alpha }_t|{\mu \iota \kappa \rho ό}_t)$ ▢Εδώ ${\pi }_{\varphi }({έ\nu \alpha }_t|{\mu \iota \kappa \rho ό}_t)$ Πώς να ορίσετε;
            ~~~~~~~~~~~            Δείγματα μεταβάσεων από το περιβάλλον:${\mu \iota \kappa \rho ό}_{t+1}\sim \Pi ({\mu \iota \kappa \rho ό}_{t+1}|{\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t)$
            ~~~~~~~~~~~            Αποθηκεύστε τη μετάβαση στο χώρο συγκέντρωσης αναπαραγωγής: $\mathcal{\rho \epsilon }\leftarrow \mathcal{\rho \epsilon }\cup \{({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t,r({\mu \iota \kappa \rho ό}_t,{έ\nu \alpha }_t),{\mu \iota \kappa \rho ό}_{t+1})\}$
       ~~~~~~       $\mathbf{\tau έ\lambda o\varsigma }\mathbf{\Gamma \iota \alpha }$
       ~~~~~~       $\mathbf{\Gamma \iota \alpha }$ Κάθε βήμα κλίσης$\mathbf{\kappa ά\nu \omega }$ ：
            ~~~~~~~~~~~            ανανεώνω $Q$ Παράμετροι συνάρτησης: για i ∈ { 1 , 2 } iin{1,2}Εγώ∈{1,2}，${\theta }_{{\rm E}\gamma ώ}\leftarrow {\theta }_{{\rm E}\gamma ώ}-{\lambda }_Q{\hat{\nabla }}_{{\theta }_{{\rm E}\gamma ώ}}{J}_Q({\theta }_{{\rm E}\gamma ώ})$ ▢Εδώ $J_Q({\theta }_{{\rm E}\gamma ώ})$ Πώς να ορίσετε;
            ~~~~~~~~~~~            Ενημέρωση βαρών στρατηγικής: $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )$ ▢Εδώ $J_{\pi }(\varphi )$ Πώς να ορίσετε;
            ~~~~~~~~~~~            Ρύθμιση θερμοκρασίας: $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }J(\alpha )$ ▢Εδώ $J(\alpha )$ Πώς να ορίσετε;Πώς να καταλάβετε τη θερμοκρασία εδώ;
            ~~~~~~~~~~~             Ενημέρωση βαρών δικτύου στόχου: για i ∈ { 1 , 2 } iin{1,2}Εγώ∈{1,2}，${\bar{\theta }}_{{\rm E}\gamma ώ}\leftarrow \tau {\theta }_{{\rm E}\gamma ώ}-(1-\tau ){\bar{\theta }}_{{\rm E}\gamma ώ}$ ▢ Πώς να το καταλάβετε αυτό $\tau$ ? ——&gt;Στόχος συντελεστής εξομάλυνσης
       ~~~~~~       $\mathbf{\tau έ\lambda o\varsigma }\mathbf{\Gamma \iota \alpha }$
$\mathbf{\tau έ\lambda o\varsigma }\mathbf{\Gamma \iota \alpha }$
Παραγωγή:${\theta }_1,{\theta }_1,\varphi$Βελτιστοποιημένες παράμετροι

$\hat{\nabla }$: στοχαστική κλίση

$emptyset$$\varnothing$

Μαθαίνοντας να περπατάτε μέσω της Εκμάθησης Βαθιάς Ενίσχυσης Έκδοση σε:
  ~  

$\alpha$ είναι η παράμετρος θερμοκρασίας, η οποία καθορίζει τη σχετική σημασία του όρου και της ανταμοιβής της εντροπίας, ελέγχοντας έτσι την τυχαιότητα της βέλτιστης στρατηγικής.
$\alpha$ Μεγάλο: Εξερευνήστε
$\alpha$ Μικρό: εκμεταλλεύομαι

$J(\alpha )=\underset{{έ\nu \alpha }_t\sim {\pi }_t}{\mathbb{\mu \iota }}[-\alpha \mathrm{\iota \delta oύ\sigma o\lambda }{\pi }_t({έ\nu \alpha }_t|{\mu \iota \kappa \rho ό}_t)-\alpha \bar{\mathcal{H}}]$