प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• easy-rl PDF संस्करण नोट संगठन P5, P10 - P12
• joyrl तुलना पूरक P11-P13
• OpenAI दस्तावेज संगठन ⭐ https://spinningup.openai.com/en/latest/index.html

नवीनतम संस्करण PDF डाउनलोड
पता: https://github.com/datawhalechina/easy-rl/releases इति
घरेलुसम्बोधनम् (घरेलुपाठकानां कृते अनुशंसितम्) २.：
लिंकः https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw निष्कर्षण कोडः us6a

easy-rl online version link (प्रतिलिपिसङ्केतस्य कृते)
सन्दर्भलिङ्कः २: https://datawhalechina.github.io/joyrl-book/

इतर:
[Errata record link] इति ।
——————
5. गहन सुदृढीकरण सीखने के मूल बातें ⭐️
मुक्तस्रोतसामग्री: https://linklearner.com/learn/summary/11
——————————

चित्र स्रोतः

निकट नीति अनुकूलन (PPO) 1.1.

समाना रणनीतिः - शिक्षितव्यः कारकः पर्यावरणेन सह अन्तरक्रियां कुर्वन् कारकः च समानाः सन्ति ।
विषमरणनीतयः : शिक्षितुं कारकः पर्यावरणेन सह अन्तरक्रियां कुर्वन् कारकः च भिन्नाः सन्ति

नीति-ढालः : आँकडानां नमूनाकरणाय बहुकालस्य आवश्यकता भवति

समान रणनीति $\stackrel{महत्व\; नमूनाकरणम्}{⟹}$ भिन्नाः रणनीतयः

पीपीओ : अत्यधिकं भिन्नं वितरणद्वयं परिहरतु। समान रणनीति एल्गोरिदम
1. मूल अनुकूलन आइटम$जे(\theta ,{\theta }^{\prime })$
2. बाध्यतावस्तूनि : १.$\theta$ तथा${\theta }^{\prime }$ निर्गमक्रियायाः केएल विचलनं ( .$\theta$ तथा${\theta }^{\prime }$ यावत् अधिकं समानं तावत् श्रेयस्करम्)

पीपीओ इत्यस्य पूर्ववर्ती अस्ति: विश्वासक्षेत्रनीतिअनुकूलनम् (TRPO) ।
TRPO इत्यस्य संचालनं कठिनं भवति यतोहि एतत् KL विचलनप्रतिबन्धं अतिरिक्तप्रतिबन्धरूपेण व्यवहरति तथा च उद्देश्यकार्य्ये न स्थापितं भवति, अतः तस्य गणना कठिना भवति अतः वयं सामान्यतया TRPO इत्यस्य स्थाने PPO इत्यस्य उपयोगं कुर्मः । पीपीओ तथा टीआरपीओ इत्येतयोः कार्यप्रदर्शनं समानं भवति, परन्तु पीपीओ इत्यस्य कार्यान्वयनम् टीआरपीओ इत्यस्मात् बहु सुकरम् अस्ति ।

KL divergence: क्रियायाः दूरम्।क्रियां कर्तुं संभाव्यतावितरणं दूरी।

पीपीओ एल्गोरिदमस्य मुख्यौ रूपौ स्तः : समीपस्थनीतिअनुकूलनदण्डः (पीपीओ-दण्डः) तथा समीपस्थनीतिअनुकूलनच्छेदनम् (पीपीओ-क्लिप्)

——————————
P10 विरलपुरस्कारसमस्या
1. डिजाइन पुरस्कार। डोमेनज्ञानस्य आवश्यकता भवति
प्रत्येकं प्रासंगिकं कार्यं अन्तिमपुरस्कारं नियुक्तं कथं भवति ?

2. जिज्ञासा
आन्तरिक जिज्ञासा मॉड्यूल (ICM) 1.1.
प्रवेश:${एकः}_{त},{स}_{त}$
उत्पादनम् : १.${\widehat{स}}_{त+1}$
जालस्य पूर्वानुमानितं मूल्यम्${\widehat{स}}_{त+1}$ सत्यमूल्येन सह${स}_{त+1}$ यथा यथा अधिकं विषमाः सन्ति तथा तथा${र}_{त}^{अहम्‌}$ यथा बृहत्तरम्

${र}_{त}^{अहम्‌}$ : भविष्यस्य स्थितिः यथा यथा कठिना भवति तथा तथा कार्यस्य फलं अधिकं भवति। साहसिकं अन्वेषणं च प्रोत्साहयन्तु।

• सूचकः अतिएकः अस्ति, भवन्तः केवलं निष्प्रयोजनवस्तूनि एव शिक्षितुं शक्नुवन्ति ।

विशेषता निष्कर्षक

जालम् २ : १.
इनपुट: सदिश$\mathbf{\varphi }({स}_{त})$ तथा$\mathbf{\varphi }({स}_{त+1})$

क्रियायाः पूर्वानुमानं कुरुत $\widehat{एकः}$ यथार्थक्रियायाः यावत् समीपं भवति तावत् उत्तमम्।

3. पाठ्यक्रमाध्ययनम्

सुलभम् -> कठिनम्

विपर्ययपाठ्यक्रमशिक्षणम् : १.
अन्तिम-अत्यन्त-आदर्श-अवस्थातः आरभ्य [वयं तत् सुवर्ण-अवस्था इति वदामः], गच्छन्तुसुवर्णराज्यस्य समीपस्थं राज्यं ज्ञातव्यम् मञ्चित "आदर्श" इति रूपेण कथयतु यत् भवन्तः एजेण्टं प्राप्तुं इच्छन्ति। अवश्यं अस्मिन् क्रमे वयं काश्चन चरमावस्थाः अर्थात् अतिसुलभाः अतिकठिनाः वा अवस्थाः इच्छया अपसारयिष्यामः ।

4. श्रेणीबद्धसुदृढीकरणशिक्षणम् (HRL) .
एजेण्टस्य रणनीतिः उच्चस्तरीयरणनीतिषु निम्नस्तरीयरणनीतिषु च विभक्ता अस्ति उच्चस्तरीयरणनीतिः वर्तमानस्थितेः आधारेण निम्नस्तरीयरणनीतिः कथं निष्पादनीया इति निर्धारयति।

————————
पृ11 अनुकरणशिक्षणम्
पुरस्कारदृश्यस्य विषये निश्चितः नास्ति

अनुकरणशिक्षणम् (IL) ९.
प्रदर्शनात् शिक्षमाणः
अप्रेंटिसशिप शिक्षण
पश्यन् शिक्षणम्

तत्र स्पष्टपुरस्काराः सन्ति : बोर्डक्रीडाः, वीडियोक्रीडाः
स्पष्टं पुरस्कारं दातुं असमर्थः: chatbot

विशेषज्ञप्रदर्शनानि संग्रहयन्तु : मानववाहनचालनस्य अभिलेखाः, मानवीयवार्तालापाः

विपर्ययम् एतानि कर्माणि निपुणः कीदृशं फलकार्यं करोति ?
विलोम सुदृढीकरणशिक्षणम् अस्तिप्रथमं पुरस्कारकार्यं ज्ञातव्यम्, पुरस्कारकार्यं ज्ञात्वा, ततः इष्टतमं अभिनेतारं अन्वेष्टुं सुदृढीकरणशिक्षणस्य उपयोगं कुर्वन्तु।

तृतीय व्यक्ति अनुकरण शिक्षण प्रौद्योगिकी

————————
P12 गहन नियतात्मक नीति ढाल (DDPG) 1.1.

अनुभवपुनःक्रीडारणनीत्याः उपयोगं कुर्वन्तु

विच्छेदन प्रयोग [नियंत्रित चर विधि] विश्लेषणप्रत्येकं बाध्यतायुद्धस्य परिणामे प्रभावः भवति ।

---

joyrl: ९.

डीडीपीजी_निरन्तर

आवश्यकतायांनिश्चयःरणनीति तथानिरन्तर कर्मअन्तरिक्षस्य आधारेण एषः प्रकारः एल्गोरिदम् तुल्यकालिकरूपेण स्थिरः आधाररेखा एल्गोरिदम् भविष्यति ।

निरन्तरक्रियास्थानानां कृते DQN

गहन नियतात्मक नीति ढाल एल्गोरिदम (DDPG) 1.1.

अनुभवपुनःक्रीडातन्त्रं नमूनानां मध्ये सहसंबन्धं न्यूनीकर्तुं, नमूनानां प्रभावी उपयोगं सुधारयितुम्, प्रशिक्षणस्य स्थिरतां वर्धयितुं च शक्नोति ।

अभावः : १.
1. विच्छिन्नक्रियास्थाने उपयोक्तुं न शक्यते
2、अतिमापदण्डेषु अत्यन्तं निर्भरः
3. अत्यन्तं संवेदनशीलाः प्रारम्भिकाः परिस्थितयः। एल्गोरिदम् इत्यस्य अभिसरणं कार्यक्षमतां च प्रभावितं करोति
4. स्थानीय इष्टतमं पतनं सुलभम् अस्ति।

• नियतात्मक-रणनीत्याः स्वीकरणस्य कारणात् एल्गोरिदम् स्थानीय-इष्टतम-मध्ये पतितुं शक्नोति, वैश्विक-इष्टतम-रणनीत्याः अन्वेषणं च कठिनं कर्तुं शक्नोति अन्वेषणक्षमतां वर्धयितुं केचन उपायाः करणीयाः, यथा कोलाहलरणनीतिं योजयितुं अन्येषां अन्वेषणपद्धतीनां उपयोगः वा ।

मृदु-अद्यतनस्य लाभः अस्ति यत् एतत् सुचारुतरं मन्दतरं च भवति, यत् अत्यन्तं द्रुतगतिना भार-अद्यतन-कारणात् उत्पद्यमानं आघातं परिहरितुं शक्नोति तथा च प्रशिक्षण-विचलनस्य जोखिमं न्यूनीकर्तुं शक्नोति

द्विगुणित विलम्बित नियतात्मक नीति ढाल एल्गोरिदम (जुड़वा विलम्बित DDPG, TD3)

द्वि-विलम्ब नियतात्मक नीति ढाल एल्गोरिदम

त्रयः सुधाराः : डबल क्यू नेटवर्क्, विलम्बितं अपडेट्, शोर नियमितीकरणं
डबल क्यू नेटवर्क : द्वौ Q जालौ, लघु Q मूल्ययुक्तं चिनुत । Q मूल्यस्य अतिआकलनसमस्यायाः निवारणं कर्तुं तथा एल्गोरिदमस्य स्थिरतां अभिसरणं च सुधारयितुम्।

विलम्बितम् अद्यतनम् : अभिनेता अद्यतन-आवृत्तिः समीक्षक-अद्यतन-आवृत्तितः न्यूना भवतु

• द्विवारं चिन्तयतु

कोलाहलः अधिकः कनियमितीकरणएवं प्रकारेण यत्मूल्य फ़ंक्शन अपडेटअधिकःमसृणः

OpenAI जिम पुस्तकालय_पेंडुलम_टीडी3

TD3 विषये OpenAI दस्तावेजान्तरफलकलिङ्कः

TD3 कागज PDF लिङ्क

PPO_निरंतर/विच्छिन्न क्रियास्थानम् [OpenAI 201708] ।

सुदृढीकरणशिक्षणे सर्वाधिकं प्रयुक्तः पीपीओ एल्गोरिदम्
विच्छिन्न + निरन्तर
द्रुतं स्थिरं च, मापदण्डं समायोजयितुं सुलभम्
आधाररेखा एल्गोरिदम

अनिर्णयित पीपीओ

व्यवहारे सामान्यतया क्लिप्-प्रतिबन्धानां उपयोगः भवति यतोहि एतत् सरलतरं, न्यूनगणनव्ययः, उत्तमपरिणामं च भवति ।

नीतितः बहिः एल्गोरिदम् कर्तुं शक्नोतिऐतिहासिक अनुभवस्य लाभं ग्रहीतुं, सामान्यतया पूर्वानुभवस्य संग्रहणार्थं पुनः उपयोगाय च अनुभवपुनर्क्रीडायाः उपयोगं कुर्वन्ति,दत्तांशस्य उपयोगस्य दक्षता अधिका अस्ति。

पीपीओ इति नीतिगतं एल्गोरिदम् अस्ति

• यद्यपि महत्त्वनमूनाकरणभागः पुरातनस्य अभिनेतानमूनाकरणस्य नमूनानां उपयोगं करोति तथापि वयं...एतेषां नमूनानां प्रत्यक्षतया उपयोगः रणनीत्याः अद्यतनीकरणाय न भवति । , तस्य स्थाने प्रथमं भिन्नदत्तांशवितरणैः उत्पद्यमानदोषाणां संशोधनार्थं महत्त्वनमूनाकरणस्य उपयोगः भवति, यद्यपि नमूनावितरणद्वयस्य अन्तरं यथासम्भवं न्यूनीकृतं भवतिअन्येषु शब्देषु, यद्यपि महत्त्वनमूनाकरणानन्तरं नमूनानि पुरातनरणनीत्या नमूनाकरणेन प्राप्यन्ते तथापि ते शक्नुवन्ति इति अवगन्तुं शक्यतेअद्यतननीत्याः अनुमानतः प्राप्तम्, अर्थात् वयं यस्य अभिनेतायाः अनुकूलनं कर्तुम् इच्छामः, यस्य अभिनेतायाः नमूनाकरणं कुर्मः सः समानः एव ।

——————————————————

—— OpenAI दस्तावेजीकरण_पीपीओ

OpenAI दस्तावेजीकरणम्
कागज arXiv अन्तरफलकलिङ्कः: निकटतमनीतिअनुकूलन एल्गोरिदम्

पीपीओ: नीतिगत-एल्गोरिदम्, असतत-अथवा निरन्तर-क्रिया-स्थानानां कृते उपयुक्तम् ।संभव स्थानीय इष्टतम

पीपीओ इत्यस्य प्रेरणा टीआरपीओ इत्यस्य समाना एव अस्ति यत् विद्यमानदत्तांशस्य लाभः कथं भवति इतिस्वस्य रणनीत्यां बृहत्तमं सम्भवं सुधारपदं गृह्यताम्, अत्यधिकं परिवर्तनं विना तथा च आकस्मिकतया प्रदर्शनदुर्घटनाम् अकुर्वन्?
TRPO परिष्कृतेन द्वितीय-क्रम-पद्धत्या एतस्याः समस्यायाः समाधानं कर्तुं प्रयतते, यदा तु PPO प्रथम-क्रम-पद्धत्या नूतन-रणनीतिं पुरातन-रणनीत्याः समीपे एव स्थापयितुं अन्येषां केषाञ्चन युक्तीनां उपयोगं करोति
पीपीओ पद्धतिः कार्यान्वितुं बहु सरलं भवति तथा च अनुभवजन्यरूपेण न्यूनातिन्यूनं टीआरपीओ इव कार्यं करोति ।

पीपीओ इत्यस्य मुख्यौ द्वौ भिन्नौ स्तः - पीपीओ-दण्डः पीपीओ-क्लिप् च ।

• PPO-Penalty अनुमानतः TRPO इव KL-प्रतिबन्ध-अद्यतन-समाधानं करोति, परन्तु उद्देश्य-कार्य्ये KL-विचलनं कठिन-प्रतिबन्धं करणस्य स्थाने दण्डं ददाति, तथा च प्रशिक्षणस्य समये स्वयमेव दण्ड-गुणकं समायोजयति येन सः समुचितरूपेण स्केल करोति
• PPO-Clip इत्यस्य KL-विचलनं नास्ति तथा च उद्देश्यकार्ये कोऽपि बाधाः नास्ति । तस्य स्थाने नूतनरणनीत्याः पुरातनरणनीत्याः दूरं गन्तुं प्रोत्साहनं दूरीकर्तुं उद्देश्यकार्यस्य विशिष्टसिलिंग् इत्यस्य उपरि अवलम्बते ।
  PPO-Clip (OpenAl द्वारा प्रयुक्तः मुख्यरूपः) ।

PPO-Clip एल्गोरिदम छद्म कोड

एल्गोरिदम: पीपीओ-क्लिप
1: Input: प्रारम्भिकरणनीतिमापदण्डाः${\theta }_0$, प्रारम्भिकमूल्यकार्यमापदण्डाः ${\varphi }_0$
2：$कृतेk=0,1,2,\dots करोतु$：
3：        ~~~~~~       पर्यावरणे नीतिं चालयित्वा ${\pi }_k=\pi ({\theta }_k)$ प्रक्षेपवक्रसमूहं संग्रहयन्तु D k = { τ i } {cal D}_k={तौ_इ}घk​={τअहम्‌​}
4：        ~~~~~~       पुरस्कारस्य गणनां कुरुत (rewards-to-go) २. ${\widehat{आर}}_{त}$ ▢ ${\widehat{आर}}_{त}$ गणनानियमाः
5：        ~~~~~~       लाभानुमानं गणयन्तु, वर्तमानमूल्यकार्यस्य आधारेण ${वि}_{{\varphi }_k}$ इत्यस्य${\widehat{एकः}}_{त}$ (किमपि वर्चस्वानुमानपद्धतिं प्रयुञ्जीत)       ~~~~~       ▢ वर्तमान-लाभ-अनुमान-विधयः कानि सन्ति ?
6：        ~~~~~~       PPO-Clip उद्देश्यकार्यं अधिकतमं कृत्वा नीतिं अद्यतनं कुर्वन्तु:
            ~~~~~~~~~~~            
θ k + 1 = arg ⁡ अधिकतम ⁡ θ 1 ∣ D k ∣ T ∑ τ ∈ D k ∑ t = 0 T min ⁡ ( π θ ( at ∣ st ) π θ k ( at ∣ st ) A π θ k ( st , at ) , g ( ε , A π θ k ( st , at ) ) ) ~~~~~~~~~~~~theta_{k+1}=argmaxlimits_thetafrac{1}{|{cal D}_k|T }समसीमा_{तौइन्{कल डी}_क}समसीमा_{t=0}^TminBig(frac{pi_{theta} (a_t|s_t)}{पि_{थेटा_क}(a_t|s_t)}A^{pi_{थेटा_क}} (s_t,a_t),g(epsilon,A^{pi_{थेटा_क}}(s_t,a_t))बृहत्)           θk+1​=अर्छθअधिकतमम्​∣घk​∣टी1​τ∈घk​∑​त=0∑टी​मि(πθk​​(एकःत​∣सत​)πθ​(एकःत​∣सत​)​एकःπθk​​(सत​,एकःत​),छ(ϵ,एकःπθk​​(सत​,एकःत​)))       ~~~~~       ▢ रणनीति-अद्यतन-सूत्रं कथं निर्धारयितव्यम् ?
            ~~~~~~~~~~~            
            ~~~~~~~~~~~             ${\pi }_{{\theta }_k}$ : अद्यतनीकरणात् पूर्वं रणनीतिः पैरामीटर् सदिशः। महत्व नमूनाकरणम्। पुरातनरणनीतिभ्यः नमूनाकरणम्।
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            सामान्य आकस्मिक ढाल आरोहण + एडम
7：        ~~~~~~       मध्यमवर्गदोषःप्रतिगमन फिट मूल्य कार्य:
            ~~~~~~~~~~~            
φ k + 1 = arg ⁡ min ⁡ φ 1 ∣ D k ∣ T ∑ τ ∈ D k ∑ t = 0 T ( V φ ( st ) − R ^ t ) 2 ~~~~~~~~~~~phi_ {k+1}=arg minlimits_phifrac{1}{|{cal D}_k|T}sumlimits_{tauin{cal D}_k}sumlimits_{t=0}^TBig(V_phi(s_t)-टोपी R_tBig)^2           ϕk+1​=अर्छϕमि​∣घk​∣टी1​τ∈घk​∑​त=0∑टी​(विϕ​(सत​)−आर^त​)2
            ~~~~~~~~~~~            
            ~~~~~~~~~~~            सामान्य ढाल अवरोह
8：$अंतकृते$
             ~~~~~~~~~~~~             

$dots$$\dots$

$छ(ϵ,एकः)=\{\begin{array}{rlr}& (1+ϵ)एकः& एकः\ge 0\\ & (1-ϵ)एकः& एकः<0\end{array}$

पत्रेलाभस्य अनुमानम् : १.

${\widehat{एकः}}_{त}=-वि({स}_{त})+\underset{{\widehat{आर}}_{त}???}{\underbrace{{र}_{त}+\gamma {र}_{त+1}+\cdots +{\gamma }^{टी-त+1}{र}_{टी-1}+{\gamma }^{टी-त}वि({स}_{टी})}}$

निर्मीयताम्‌ ${\Delta }_{त}={र}_{त}+\gamma V({स}_{त+1})-वि({स}_{त})$
किन्तु${र}_{त}={\Delta }_{त}-\gamma V({स}_{त+1})+वि({स}_{त})$

पर्याय ${\widehat{एकः}}_{त}$ अभिव्यक्ति

$\begin{array}{rl}{\widehat{एकः}}_{त}& =-वि({स}_{त})+{र}_{त}+\gamma {र}_{त+1}+{\gamma }^2{र}_{त+2}+\cdots +{\gamma }^{टी-त}{र}_{टी-2}+{\gamma }^{टी-त+1}{र}_{टी-1}+{\gamma }^{टी-त}वि({स}_{टी})\\ & =-वि({स}_{त})+{र}_{त}+\gamma {र}_{त+1}+\cdots +{\gamma }^{टी-त+1}{र}_{टी-1}+{\gamma }^{टी-त}वि({स}_{टी})\\ & =-वि({स}_{त})+\\ & {\Delta }_{त}-\gamma V({स}_{त+1})+वि({स}_{त})+\\ & \gamma ({\Delta }_{त+1}-\gamma V({स}_{त+2})+वि({स}_{त+1}))+\\ & {\gamma }^2({\Delta }_{त+2}-\gamma V({स}_{त+3})+वि({स}_{त+1}))+\\ & \cdots +\\ & {\gamma }^{टी-त}({\Delta }_{टी-त}-\gamma V({स}_{टी-त+1})+वि({स}_{टी-त}))+\\ & {\gamma }^{टी-त+1}({\Delta }_{टी-1}-\gamma V({स}_{टी})+वि({स}_{टी-1}))+\\ & {\gamma }^{टी-त}वि({स}_{टी})\\ & ={\Delta }_{त}+\gamma {\Delta }_{त+1}+{\gamma }^2{\Delta }_{त+2}+\cdots +{\gamma }^{टी-त}{\Delta }_{टी-त}+{\gamma }^{टी-त+1}{\Delta }_{टी-1}\end{array}$

नीतियां तीव्रपरिवर्तनस्य प्रोत्साहनं दूरीकृत्य क्लिपिंग् नियमितीकरणस्य कार्यं करोति ।अतिपैरामीटर् $ϵ$ नूतनरणनीत्याः पुरातनरणनीत्याः च दूरं सङ्गतम् अस्ति。

अद्यापि सम्भवति यत् एतादृशस्य च्छेदनस्य परिणामः अन्ते नूतना रणनीतिः भविष्यति या पुरातनरणनीत्याः दूरम् अस्ति अत्र कार्यान्वयनस्य मध्ये वयं विशेषतया सरलपद्धतिं उपयुञ्ज्महे ।प्राक् स्थगयतु . यदि पुरातननीत्याः नूतननीतेः औसतं KL-विचलनं सीमां अतिक्रमति तर्हि वयं ढालपदं निष्पादयितुं त्यजामः ।

पीपीओ उद्देश्य कार्य सरल व्युत्पत्ति कड़ी
पीपीओ-क्लिप् इत्यस्य उद्देश्यकार्यं अस्ति : १.
  ~  
${ल}_{{\theta }_k}^{CLIP\; इति}(\theta )=\underset{स,एकः\sim {\theta }_k}{ई}[मि(\frac{{\pi }_{\theta }(एकः|स)}{{\pi }_{{\theta }_k}(एकः|स)}{एकः}^{{\theta }_k}(स,एकः),\mathrm{clip}(\frac{{\pi }_{\theta }(एकः|स)}{{\pi }_{{\theta }_k}(एकः|स)},1-ϵ,1+ϵ){एकः}^{{\theta }_k}(स,एकः)\left)\right]$
  ~  
$underset{s, asimtheta_k}{rm E}$$\underset{स,एकः\sim {\theta }_k}{ई}$
  ~  
नहि।$k$ पुनरावृत्तीनां कृते रणनीतिमापदण्डाः${\theta }_k$， $ϵ$ लघु अतिपरामीटर् अस्ति ।
स्थापयति$ϵ\in (0,1)$, परिभाषा
$च(र,एकः,ϵ)\doteq मि(रएकः,\mathrm{clip}(र,1-ϵ,1+ϵ)एकः)$
कदा $एकः\ge 0$
$\begin{array}{rl}च(र,एकः,ϵ)& =मि(रएकः,\mathrm{clip}(र,1-ϵ,1+ϵ)एकः)\\ & =एकःमि(र,\mathrm{clip}(र,1-ϵ,1+ϵ))\\ & =एकःमि(र,\left\{\begin{array}{rlr}& 1+ϵ& र\ge 1+ϵ\\ & र& र\in (1-ϵ,1+ϵ)\\ & 1-ϵ& र\le 1-ϵ\end{array}\right\})\\ & =एकः\left\{\begin{array}{rlr}& मि(र,1+ϵ)& र\ge 1+ϵ\\ & मि(र,र)& र\in (1-ϵ,1+ϵ)\\ & मि(र,1-ϵ)& र\le 1-ϵ\end{array}\right\}\\ & =एकः\left\{\begin{array}{rlr}& 1+ϵ& र\ge 1+ϵ\\ & र& र\in (1-ϵ,1+ϵ)\\ & र& र\le 1-ϵ\end{array}\right\}दक्षिणतः\; श्रेण्यानुसारम्\\ & =एकःमि(र,1+ϵ)\\ & =मि(रएकः,(1+ϵ)एकः)\end{array}$
  ~  
कदा $एकः<0$
$\begin{array}{rl}च(र,एकः,ϵ)& =मि(रएकः,\mathrm{clip}(र,1-ϵ,1+ϵ)एकः)\\ & =एकःपुएकःx(र,\mathrm{clip}(र,1-ϵ,1+ϵ))\\ & =एकःअधिकतमम्(र,\left\{\begin{array}{rlr}& 1+ϵ& र\ge 1+ϵ\\ & र& र\in (1-ϵ,1+ϵ)\\ & 1-ϵ& र\le 1-ϵ\end{array}\right\})\\ & =एकः\left\{\begin{array}{rlr}& अधिकतमम्(र,1+ϵ)& र\ge 1+ϵ\\ & अधिकतमम्(र,र)& र\in (1-ϵ,1+ϵ)\\ & अधिकतमम्(र,1-ϵ)& र\le 1-ϵ\end{array}\right\}\\ & =एकः\left\{\begin{array}{rlr}& र& र\ge 1+ϵ\\ & र& र\in (1-ϵ,1+ϵ)\\ & 1-ϵ& र\le 1-ϵ\end{array}\right\}दक्षिणतः\; श्रेण्यानुसारम्\\ & =एकःअधिकतमम्(र,1-ϵ)\\ & =पुअहम्‌न(रएकः,(1-ϵ)एकः)\end{array}$
  ~  
सारांशतः : परिभाषितव्यः$छ(ϵ,एकः)$
$छ(ϵ,एकः)=\{\begin{array}{rlr}& (1+ϵ)एकः& एकः\ge 0\\ & (1-ϵ)एकः& एकः<0\end{array}$

एषा परिभाषा नूतनरणनीत्याः पुरातनरणनीत्याः अतिदूरं गन्तुं किमर्थं निवारयति ?
प्रभावी महत्त्वनमूनाकरणपद्धतीनां कृते नूतनानां रणनीतयः आवश्यकाः सन्ति ${\pi }_{\theta }(एकः|स)$ तथा पुरातन रणनीतयः${\pi }_{{\theta }_k}(एकः|स)$ द्वयोः वितरणयोः भेदः अतिबृहत् न भवितुम् अर्हति

1. यदा लाभः सकारात्मकः भवति

$ल(स,एकः,{\theta }_k,\theta )=मि(\frac{{\pi }_{\theta }(एकः|स)}{{\pi }_{{\theta }_k}(एकः|स)},1+ϵ){एकः}^{{\pi }_{{\theta }_k}}(स,एकः)$
लाभकार्यम् : अधिकपुरस्कारयुक्तं निश्चितं राज्य-क्रियायुगलं ज्ञातव्यम् -&gt; राज्य-क्रियायुग्मस्य भारं वर्धयन्तु।

यदा अवस्थाकर्मयुग्मम् $(स,एकः)$ सकारात्मकं तर्हि यदि कर्म$एकः$ निष्पादनस्य अधिका सम्भावना भवति अर्थात् यदि${\pi }_{\theta }(एकः|स)$ वर्धयतु लक्ष्यं च वर्धते।
min अस्मिन् द्रव्ये उद्देश्यकार्यं केवलं निश्चितमूल्यं यावत् वर्धयितुं सीमितं करोति
एकदा${\pi }_{\theta }(एकः|स)>(1+ϵ){\pi }_{{\theta }_k}(एकः|स)$, min triggers, अस्य द्रव्यस्य मूल्यं यावत् सीमितं करोति $(1+ϵ){\pi }_{{\theta }_k}(एकः|स)$。
पुरातननीत्याः दूरं गत्वा नूतननीतेः लाभः न भवति।
पुरातनरणनीत्याः दूरं गत्वा नूतनरणनीत्याः लाभः न भविष्यति।

2. यदा लाभः नकारात्मकः भवति

$ल(स,एकः,{\theta }_k,\theta )=अधिकतमम्(\frac{{\pi }_{\theta }(एकः|स)}{{\pi }_{{\theta }_k}(एकः|स)},1-ϵ){एकः}^{{\pi }_{{\theta }_k}}(स,एकः)$

यदा अवस्थाकर्मयुग्मम् $(स,एकः)$ लाभः नकारात्मकः, तर्हि यदि कर्म$एकः$ अपि न्यूनसंभावना इत्यर्थः${\pi }_{\theta }(एकः|स)$ न्यूनीभवति, उद्देश्यकार्यं वर्धते। परन्तु अस्मिन् पदे अधिकतमः उद्देश्यकार्यं कियत् वर्धयितुं शक्यते इति सीमां ददाति ।
एकदा${\pi }_{\theta }(एकः|स)<(1-ϵ){\pi }_{{\theta }_k}(एकः|स)$, max triggers, अस्य द्रव्यस्य मूल्यं यावत् सीमितं करोति $(1-ϵ){\pi }_{{\theta }_k}(एकः|स)$。

पुनः : पुरातननीत्याः दूरं गत्वा नूतननीतेः लाभः न भवति।
पुरातनरणनीत्याः दूरं गत्वा नूतनरणनीत्याः लाभः न भविष्यति।

टीडी३_ २.केवलं क्रमशः: जुड़वाँ विलम्बित गहरी नियतात्मक नीति ढाल [ICML 2018 (Canada) McGill University]

चित्र स्रोतः

OpenAI दस्तावेजीकरण_TD3
पेपर लिङ्क

यद्यपि DDPG कदाचित् उत्तमं प्रदर्शनं प्राप्तुं शक्नोति तथापि हाइपरपैरामीटर् इत्यादिप्रकारस्य ट्यूनिङ्गस्य विषये प्रायः अस्थिरः भवति ।
एकः सामान्यः DDPG विफलताविधिः अस्ति यत् ज्ञातं Q-कार्यं Q-मूल्यं महत्त्वपूर्णतया अति-आकलनं कर्तुं आरभते, यत् ततः नीतिं भङ्गं जनयति यतोहि एतत् Q-कार्यं त्रुटिं शोषयति
Twin Delayed DDPG (TD3) इति एकः एल्गोरिदम् अस्ति यः त्रीणि प्रमुखाणि तकनीकानि परिचययित्वा एतस्याः समस्यायाः समाधानं करोति:
1、ट्रंकटेड डबल क्यू-शिक्षण。

• TD3 एकस्य स्थाने द्वौ Q फंक्शन् शिक्षते (अतः "twin") तथा च Bellman त्रुटिहानि फंक्शन् मध्ये लक्ष्यं निर्मातुं द्वयोः Q मूल्ययोः लघुतरस्य उपयोगं करोति

2、नीति अद्यतनविलम्ब。

• TD3 नीतिं (लक्ष्यजालं च) Q कार्यस्य अपेक्षया न्यूनतया अद्यतनं करोति । पत्रे प्रत्येकं Q फंक्शन् द्विवारं अद्यतनं भवति तदा नीतिं अद्यतनीकर्तुं अनुशंसति ।

3. लक्ष्यरणनीतिसुचारुकरणम्।

• TD3 लक्ष्यक्रियायां शोरं योजयति, येन नीतेः कृते क्रियापरिवर्तनेषु Q सुचारुतया Q कार्ये त्रुटिनां शोषणं अधिकं कठिनं भवति

TD3 एकः नीतितः बहिः एल्गोरिदम् अस्ति तस्य उपयोगः केवलं सह कर्तुं शक्यते;निरन्तरम्क्रियास्थानस्य परिवेशः ।

TD3 एल्गोरिदम छद्म कोड

एल्गोरिदम: TD3
यादृच्छिकमापदण्डानां उपयोगं कुर्वन्तु${\theta }_1,{\theta }_2,\varphi$ समीक्षकजालस्य आरम्भं कुर्वन्तु${प्र}_{{\theta }_1},{प्र}_{{\theta }_2}$, तथा अभिनेताजालम् ${\pi }_{\varphi }$
लक्ष्यजालस्य आरम्भं कुर्वन्तु${\theta }_1^{\prime }\leftarrow {\theta }_1,{\theta }_2^{\prime }\leftarrow {\theta }_2,{\varphi }^{\prime }\leftarrow \varphi$
प्लेबैक बफर सेट् आरभत$\mathcal{ख}$
$कृतेत=1इत्यस्मैटी$ ：
       ~~~~~~       अन्वेषणशब्देन सह क्रियायाः चयनं कुर्वन्तु $एकः\sim {\pi }_{\varphi }(स)+ϵ,ϵ\sim न॰(0,\sigma )$, अवलोकनपुरस्कारः $र$ तथा नवीन स्थिति${स}^{\prime }$
       ~~~~~~       संक्रमण तुपलः $(स,एकः,र,{स}^{\prime })$ निक्षेपं प्रति$\mathcal{ख}$ मध्यं
       ~~~~~~       इत्यस्मात्‌ $\mathcal{ख}$ लघुसमूहानां नमूनाकरणम्$न॰$ संक्रमणानि$(स,एकः,र,{स}^{\prime })$
$\widetilde{एकः}\leftarrow {\pi }_{{\varphi }^{\prime }}({स}^{\prime })+ϵ,ϵ\sim \mathrm{clip}(न॰(0,\tilde{\sigma }),-ग,ग)$
$य्\leftarrow र+\gamma \underset{अहम्‌=1,2}{मि}{प्र}_{{\theta }_{अहम्‌}^{\prime }}({स}^{\prime },\widetilde{एकः})$
       ~~~~~~       अद्यतनसमीक्षकाः θ i ← arg ⁡ min ⁡ θ i N − 1 ∑ ( y − Q θ i ( s , a ) ) 2 theta_ileftarrowargminlimits_{theta_i}N^{-1}sum(y-Q_{theta_i}(s, a)) ^2θअहम्‌​←अर्छθअहम्‌​मि​न॰−1∑(य्−प्रθअहम्‌​​(स,एकः))2
       ~~~~~~        $यदित\%घ$：
            ~~~~~~~~~~~            नियतात्मकनीतिप्रवणतायाः माध्यमेन अद्यतनं कुर्वन्तु $\varphi$
${\nabla }_{\varphi }जे(\varphi )={न॰}^{-1}\sum {\nabla }_{एकः}{प्र}_{{\theta }_1}(स,एकः){|}_{एकः={\pi }_{\varphi }(स)}{\nabla }_{\varphi }{\pi }_{\varphi }(स)$
            ~~~~~~~~~~~            लक्ष्यजालम् अद्यतनं कुर्वन्तु : १.
${\theta }_{अहम्‌}^{\prime }\leftarrow \tau {\theta }_{अहम्‌}+(1-\tau ){\theta }_{अहम्‌}^{\prime }$$\tau$: लक्ष्य अद्यतन दर
${\varphi }^{\prime }\leftarrow \tau \varphi +(1-\tau ){\varphi }^{\prime }$
$अंतयदि$
$अंतकृते$

मृदु अभिनेता-आलोचकः: SAC_Continuous/Discrete Action Space [Google Brain latest version 201906]

चित्र स्रोतः

नीतेः एन्ट्रोपी अधिकतमं कुर्वन्तु, तस्मात् नीतिः अधिका दृढा भवति ।

नियतात्मक रणनीति समानावस्था दत्ता सदा समानं कर्म चिनुत इत्यर्थः
यादृच्छिकता रणनीति दत्तावस्थायां चयनं कर्तुं शक्यन्ते बहूनि सम्भाव्यक्रियाः इति भावः ।

वास्तविकप्रयोगे यदि परिस्थितयः अनुमन्यन्ते तर्हि वयं करिष्यामःप्रयोगं कर्तुं प्रयतस्वयादृच्छिकता रणनीति, यथा A2C, PPO इत्यादयः, यतः इदं अधिकं लचीलं, अधिकं दृढं, अधिकं स्थिरं च भवति ।

अधिकतम-एन्ट्रोपी-सुदृढीकरण-शिक्षणस्य मतं यत् वर्तमानकाले अस्माकं समीपे परिपक्व-यादृच्छिकता-रणनीतयः सन्ति, अर्थात् एसी-सदृशाः एल्गोरिदम्-इत्येतत् अपि, अद्यापि अस्माभिः इष्टतम-यादृच्छिकता न प्राप्ताअतः क इति प्रवर्तयतिसूचना एन्ट्रोपीअवधारणा, inनीतेः एन्ट्रोपी अधिकतमं कुर्वन् सञ्चितपुरस्कारं अधिकतमं कुर्वन्तु, रणनीतिं अधिकं दृढं कृत्वा इष्टतमं यादृच्छिकता रणनीतिं प्राप्तुं च।

——————————————————

—— OpenAI दस्तावेजीकरण_SAC

OpenAI Documentation_SAC अन्तरफलकलिङ्कः
  ~  
मृदु अभिनेता-आलोचकः : एकेन आकस्मिकनटेन सह नीतितः बहिः अधिकतमं एन्ट्रोपी गहनसुदृढीकरणशिक्षणम्, हार्नोजा एट अल, 201808 आईसीएमएल 2018
मृदु अभिनेता-समीक्षक एल्गोरिदम एवं अनुप्रयोग, हार्नोजा एट अल, 201901
गहनसुदृढीकरणशिक्षणद्वारा चलितुं शिक्षणम्, हार्नोजा एट अल, 201906 आरएसएस2019

मृदु अभिनेता समीक्षकः (SAC) नीतितः बहिः रीत्या यादृच्छिकरणनीतयः अनुकूलयति ।

DDPG + आकस्मिक रणनीति अनुकूलन

न तु TD3 (तत् एव समये एव मुक्तम्) इत्यस्य प्रत्यक्षं उत्तराधिकारी ।

अस्मिन् क्लिप्ड् डबल-क्यू युक्तिः समाविष्टा अस्ति, तथा च SAC इत्यस्य रणनीतेः निहितस्य यादृच्छिकतायाः कारणात्, अन्ततः तस्य लाभः अपि भवतिलक्ष्य नीति सुचारूीकरण。

SAC इत्यस्य एकं मूलविशेषता अस्ति एन्ट्रोपी नियमितीकरण एन्ट्रोपी नियमितीकरण。
अपेक्षितपुरस्कारस्य एन्ट्रोपी च अधिकतमं व्यापारं कर्तुं नीतिः प्रशिक्षिता अस्ति,एन्ट्रोपी इति नीतेः यादृच्छिकतायाः मापः。
एतस्य अन्वेषणस्य शोषणस्य च व्यापारस्य निकटतया सम्बन्धः अस्ति : एन्ट्रोपीयाः वृद्धिः भवतिअधिकं अन्वेषणीयम्,एतत् ठीकम् अस्तितदनन्तरं शिक्षणं त्वरयन्तु .अयं अस्तुनीतिः अकालं दुष्टस्थानीय इष्टतमं प्रति अभिसरणं न भवतु。

निरन्तरक्रियास्थाने, विच्छिन्नक्रियास्थाने च अस्य उपयोगः कर्तुं शक्यते ।

अस्ति एन्ट्रोपी-नियमित सुदृढीकरण शिक्षण, कारकं प्राप्नोति चअस्मिन् समयपदे नीतेः एन्ट्रोपीआनुपातिक पुरस्कार।
अस्मिन् समये RL समस्या एतादृशी वर्णिता अस्ति :

π ∗ = arg ⁡ अधिकतम ⁡ π E τ ∼ π [ ∑ t = 0 ∞ γ t ( R ( st , at , st + 1 ) + α H ( π ( ⋅ ∣ st ) ) ) ) ] pi^*=argmaxlimits_pi अंडरसेट {tausimpi}{rm E}बृहत्[sumlimits_{t=0}^inftygamma^tBig(R(s_t,a_t,s_{t+1})textcolor{blue}{+अल्फा H(pi(·|s_t))} बृहत्)बृहत्] २.π∗=अर्छπअधिकतमम्​τ∼πई​[त=0∑∞​γत(आर(सत​,एकःत​,सत+1​)+αह(π(⋅∣सत​)))]

इत्यस्मिन्‌ $\alpha >0$ इति व्यापार-गुणकम् ।
प्रत्येकं समयपदे एन्ट्रोपीपुरस्कारं सहितं राज्यमूल्यकार्यं${वि}^{\pi }$ कृते:

${वि}^{\pi }(स)=\underset{\tau \sim \pi }{ई}\left[\sum _{त=0}^{\infty }{\gamma }^{त}\right(आर({स}_{त},{एकः}_{त},{स}_{त+1})+\alpha ह(\pi (\cdot |{स}_{त})))|{स}_0=स]$

एकं क्रियामूल्यं कार्यं यस्मिन् प्रथमसमयपदं विहाय प्रत्येकस्य समयपदस्य एन्ट्रोपीपुरस्कारः समाविष्टः भवति ${प्र}^{\pi }$:

${प्र}^{\pi }(स,एकः)=\underset{\tau \sim \pi }{ई}\left[\sum _{त=0}^{\infty }{\gamma }^{त}\right(आर({स}_{त},{एकः}_{त},{स}_{त+1})+\alpha \sum _{त=1}^{\infty }ह(\pi (\cdot |{स}_{त})))|{स}_0=स,{एकः}_0=एकः]$

• केचन पत्राणि ${प्र}^{\pi }$ प्रथमवारं चरणस्य एन्ट्रोपी पुरस्कारं समाविष्टम् अस्ति

${वि}^{\pi }$ तथा${प्र}^{\pi }$ तयोः सम्बन्धः अस्ति : १.

${वि}^{\pi }(स)=\underset{एकः\sim \pi }{ई}[{प्र}^{\pi }(स,एकः)]+\alpha ह(\pi (\cdot |स))$

विषये ${प्र}^{\pi }$ बेल्मैन् सूत्रम् अस्ति : १.

$\begin{array}{rl}{प्र}^{\pi }(स,एकः)& =\underset{\genfrac{}{}{0ex}{}{{स}^{\prime }\sim पु}{{एकः}^{\prime }\sim \pi }}{ई}[आर(स,एकः,{स}^{\prime })+\gamma ({प्र}^{\pi }({स}^{\prime },{एकः}^{\prime })+\alpha ह(\pi (\cdot |{स}^{\prime })))]\\ & =\underset{{स}^{\prime }\sim पु}{ई}[आर(स,एकः,{स}^{\prime })+\gamma {वि}^{\pi }({स}^{\prime })]\end{array}$

SAC एकत्रैव नीतिं शिक्षते ${\pi }_{\theta }$ द्वे च$प्र$ नियोग${प्र}_{{\varphi }_1},{प्र}_{{\varphi }_2}$。
सम्प्रति मानक SAC इत्यस्य द्वौ रूपौ स्तः : एकः नियतस्य उपयोगं करोतिएन्ट्रोपी नियमितीकरण गुणांक $\alpha$, प्रशिक्षणकाले परिवर्तनेन अन्यः $\alpha$ एन्ट्रोपी-प्रतिबन्धान् प्रवर्तयितुं ।
OpenAI इत्यस्य दस्तावेजीकरणं नियत-एन्ट्रोपी-नियमितीकरण-गुणकं युक्तं संस्करणं उपयुज्यते, परन्तु व्यवहारे प्रायः तत् प्राधान्यं भवतिएन्ट्रोपी बाध्यताvariant.

यथा अधः दर्शितं, इ $\alpha$ नियतसंस्करणे अन्तिमचित्रं विहाय यस्य स्पष्टलाभाः सन्ति, अन्येषां केवलं किञ्चित् लाभाः सन्ति, मूलतः यथा...$\alpha$ शिक्षणसंस्करणं तथैव तिष्ठति यदा अपि अस्ति$\alpha$ मध्यद्वयं चित्रं यत्र शिक्षणसंस्करणस्य लाभाः सन्ति तत्र अधिकं स्पष्टौ स्तः।

चित्र स्रोतः

SAC वि.संTD3:
  ~  
स एव बिन्दुः : १.
1. एकस्मिन् साझा उद्देश्यं प्रति प्रतिगमनेन MSBE (Mean Squared Bellman Error) इत्यस्य न्यूनीकरणेन Q कार्यद्वयं ज्ञातं भवति।
2. साझालक्ष्यस्य गणनाय लक्ष्य Q-जालस्य उपयोगं कुर्वन्तु, लक्ष्य Q-जालं प्राप्तुं प्रशिक्षणप्रक्रियायाः समये Q-जालमापदण्डेषु polyak औसतीकरणं कुर्वन्तु।
3. साझा लक्ष्यं truncated double Q तकनीकस्य उपयोगं करोति ।
  ~  
अंतरण:
1. SAC इत्यस्मिन् एन्ट्रोपी नियमितीकरणपदं भवति
2. SAC लक्ष्ये प्रयुक्ता अग्रिमा राज्यक्रिया तः आगच्छतिवर्तमान रणनीति, लक्ष्यरणनीत्याः अपेक्षया।
3. सुस्पष्टीकरणस्य स्पष्टं लक्ष्यरणनीतिः नास्ति। TD3 अग्रिमराज्यं प्रति कार्याणां माध्यमेन नियतात्मकनीतिं प्रशिक्षयतियादृच्छिकं कोलाहलं योजयन्तु स्निग्धतां प्राप्तुं । SAC यादृच्छिकनीतिं प्रशिक्षयति, यादृच्छिकतायाः कोलाहलः च समानप्रभावं प्राप्तुं पर्याप्तः भवति ।

SAC एल्गोरिदम छद्म कोड

एल्गोरिदम : मृदु अभिनेता-समीक्षक एसएसी
प्रवेश:${\theta }_1,{\theta }_2,\varphi$ आरंभीकरण मापदण्ड
पैरामीटर् आरंभीकरणम् : १.
       ~~~~~~       लक्ष्यजालभारस्य आरम्भं कुर्वन्तु : १.${\bar{\theta }}_1\leftarrow {\theta }_1,{\bar{\theta }}_2\leftarrow {\theta }_2$
       ~~~~~~       प्लेबैक् पूलः रिक्तः भवितुं आरभते:$\mathcal{घ}\leftarrow \varnothing$
$कृते$ प्रत्येकं पुनरावृत्तिः$करोतु$ ：
       ~~~~~~       $कृते$ प्रत्येकं पर्यावरणपदं$करोतु$ ：
            ~~~~~~~~~~~            नीतेः नमूनानि क्रियाः : १. ${एकः}_{त}\sim {\pi }_{\varphi }({एकः}_{त}|{स}_{त})$ ▢अत्र ${\pi }_{\varphi }({एकः}_{त}|{स}_{त})$ कथं परिभाषितव्यम् ?
            ~~~~~~~~~~~            पर्यावरणात् नमूनासंक्रमणानि : १.${स}_{त+1}\sim पृ({स}_{त+1}|{स}_{त},{एकः}_{त})$
            ~~~~~~~~~~~            संक्रमणं प्लेबैक् पूल् मध्ये रक्षन्तु: $\mathcal{घ}\leftarrow \mathcal{घ}\cup \{({स}_{त},{एकः}_{त},र({स}_{त},{एकः}_{त}),{स}_{त+1})\}$
       ~~~~~~       $अंतकृते$
       ~~~~~~       $कृते$ प्रत्येकं ढालपदं$करोतु$ ：
            ~~~~~~~~~~~            नवीकरणम् $प्र$ फ़ंक्शन पैरामीटर्स: for इ ∈ { १ , २ } इन्{१,२}अहम्‌∈{1,2}，${\theta }_{अहम्‌}\leftarrow {\theta }_{अहम्‌}-{\lambda }_{प्र}{\hat{\nabla }}_{{\theta }_{अहम्‌}}{जे}_{प्र}({\theta }_{अहम्‌})$ ▢अत्र ${जे}_{प्र}({\theta }_{अहम्‌})$ कथं परिभाषितव्यम् ?
            ~~~~~~~~~~~            रणनीतिभारं अद्यतनं कुर्वन्तु : १. $\varphi \leftarrow \varphi -{\lambda }_{\pi }{\hat{\nabla }}_{\varphi }{जे}_{\pi }(\varphi )$ ▢अत्र ${जे}_{\pi }(\varphi )$ कथं परिभाषितव्यम् ?
            ~~~~~~~~~~~            तापमानं समायोजयन्तु : १. $\alpha \leftarrow \alpha -\lambda {\hat{\nabla }}_{\alpha }जे(\alpha )$ ▢अत्र $जे(\alpha )$ कथं परिभाषितव्यम् ?अत्र तापमानं कथं अवगन्तुं शक्यते ?
            ~~~~~~~~~~~             लक्ष्यजालभारं अद्यतनं कुर्वन्तु: कृते इ ∈ { १ , २ } इन्{१,२}अहम्‌∈{1,2}，${\bar{\theta }}_{अहम्‌}\leftarrow \tau {\theta }_{अहम्‌}-(1-\tau ){\bar{\theta }}_{अहम्‌}$ ▢ एतत् कथं अवगन्तुम् $\tau$ ? ——&gt;लक्ष्य स्मूथिंग गुणांक
       ~~~~~~       $अंतकृते$
$अंतकृते$
उत्पादनम् : १.${\theta }_1,{\theta }_1,\varphi$अनुकूलित मापदण्ड

$\hat{\nabla }$: आकस्मिक ढाल

$emptyset$$\varnothing$

गहनसुदृढीकरणशिक्षणद्वारा चलितुं शिक्षणम् संस्करणम् अस्ति : १.
  ~  

$\alpha$ तापमानमापदण्डः अस्ति, यः एन्ट्रोपीपदस्य पुरस्कारस्य च सापेक्षिकं महत्त्वं निर्धारयति, तस्मात् इष्टतमरणनीतेः यादृच्छिकतां नियन्त्रयति
$\alpha$ बृहत् : अन्वेषणं कुर्वन्तु
$\alpha$ लघुः शोषणम्

J ( α ) = E at ∼ π t [ − α log ⁡ π t ( at ∣ st ) − α H ˉ ] J(alpha)=अंडरसेट{a_tsimpi_t}{mathbb E}[-अल्फालॉग pi_t(a_t|s_t)- अल्फाबर{cal H}] इति ।जे(α)=एकःत​∼πत​ई​[−αलोछπत​(एकःत​∣सत​)−αहˉ]