2024-07-12
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
अयं लेखः गहनशिक्षणे सक्रियकरणकार्यस्य विकासस्य व्यापकरूपेण समीक्षां करोति, प्रारम्भिकसिग्मोइड् तथा तान्ह कार्येभ्यः आरभ्य व्यापकरूपेण प्रयुक्ता ReLU श्रृङ्खलापर्यन्तं, सद्यः प्रस्तावितानां नवीनसक्रियताकार्याणां यथा Swish, Mish तथा GeLU इत्यादीनां विशिष्टप्रतिरूपेषु विभिन्नसक्रियीकरणकार्यस्य गणितीयव्यञ्जनानां, लक्षणानाम्, लाभानाम्, सीमानां, अनुप्रयोगानाम् गहनविश्लेषणं क्रियते व्यवस्थित तुलनात्मकविश्लेषणस्य माध्यमेन, अयं लेखः सक्रियीकरणकार्यस्य डिजाइनसिद्धान्तानां, कार्यप्रदर्शनमूल्यांकनमानकानां, सम्भाव्यभविष्यविकासदिशानां च चर्चां करोति, गहनशिक्षणप्रतिमानानाम् अनुकूलनस्य डिजाइनस्य च सैद्धान्तिकमार्गदर्शनं प्रदाति
सक्रियीकरणकार्यं तंत्रिकाजालेषु एकः प्रमुखः घटकः अस्ति, यत् न्यूरॉन्सस्य निर्गमस्थाने अरैखिकलक्षणानाम् परिचयं करोति, येन तंत्रिकाजालस्य जटिल-अरैखिक-मानचित्रणं ज्ञातुं प्रतिनिधित्वं च भवति सक्रियकरणकार्यं विना, तंत्रिकाजालं कियत् अपि गभीरं न भवतु, मूलतः केवलं रेखीयपरिवर्तनानां प्रतिनिधित्वं कर्तुं शक्नोति, यत् जालस्य अभिव्यञ्जकक्षमताम् अतीव सीमितं करोति
गहनशिक्षणस्य तीव्रविकासेन सह सक्रियीकरणकार्यस्य परिकल्पना चयनं च आदर्शप्रदर्शनं प्रभावितं कुर्वन्तः महत्त्वपूर्णाः कारकाः अभवन् । विभिन्नसक्रियीकरणकार्यस्य भिन्नाः लक्षणाः सन्ति, यथा ढालद्रवता, गणनाजटिलता, अरैखिकतायाः डिग्री इत्यादयः एते लक्षणाः तंत्रिकाजालस्य प्रशिक्षणदक्षतां, अभिसरणवेगं, अन्तिमप्रदर्शनं च प्रत्यक्षतया प्रभावितयन्ति
अस्य लेखस्य उद्देश्यं सक्रियीकरणकार्यस्य विकासस्य व्यापकसमीक्षा, विभिन्नसक्रियकार्यस्य लक्षणानाम् गहनविश्लेषणं, आधुनिकगहनशिक्षणप्रतिमानयोः तेषां अनुप्रयोगस्य अन्वेषणं च अस्ति वयं निम्नलिखितपक्षेषु चर्चां करिष्यामः- १.
अस्याः व्यवस्थितसमीक्षायाः विश्लेषणस्य च माध्यमेन वयं आशास्महे यत् शोधकर्तृभ्यः अभ्यासकर्तृभ्यः च गहनशिक्षणप्रतिरूपनिर्माणे सक्रियकरणकार्यस्य उत्तमरीत्या चयनं उपयोगं च कर्तुं तेषां सहायतार्थं व्यापकं सन्दर्भं प्रदास्यामः।
सिग्मोइड् फंक्शन् प्रारम्भिकेषु व्यापकरूपेण प्रयुक्तेषु सक्रियकरणकार्येषु अन्यतमम् अस्ति, तस्य गणितीयव्यञ्जना च अस्ति :
σ ( x ) = 1 1 + ई − x सिग्मा(x) = भग्न{1}{1 + ई^{-x}}σ(x)=1+ङ−x1
पश्चात् प्रकटितानां ReLU इत्यादिभिः कार्यैः सह तुलने गहनजालेषु सिग्मोइड् इत्यस्य अनुप्रयोगः बहु सीमितः अभवत्, मुख्यतया तस्य लुप्तप्रवणस्य ढालसमस्यायाः कारणात् परन्तु केषुचित् विशिष्टेषु कार्येषु (यथा द्विचक्रीयवर्गीकरणं) सिग्मोइड् अद्यापि प्रभावी विकल्पः अस्ति ।
Tanh (अतिपरवलयिक स्पर्शरेखा) फंक्शन् सिग्मोइड् फंक्शन् इत्यस्य उन्नतसंस्करणरूपेण गणयितुं शक्यते, तस्य गणितीयव्यञ्जना च अस्ति :
तन्ह ( x ) = ex − e − xex + e − x तन्ह(x) = frac{e^x - e^{-x}}{e^x + e^{-x}}तन्ः(x)=ङx+ङ−xङx−ङ−x
Tanh फंक्शन् सिग्मोइड् फंक्शन् इत्यस्य उन्नतसंस्करणरूपेण गणयितुं शक्यते मुख्यं सुधारं आउटपुट् इत्यस्य शून्य-केन्द्रीकरणे अस्ति । एतत् विशेषता अनेकेषु परिस्थितिषु विशेषतः गहनजालेषु Tanh इत्यस्य प्रदर्शनं Sigmoid इत्यस्मात् उत्तमं करोति । परन्तु पश्चात् प्रकटितस्य ReLU इत्यादिकार्यस्य तुलने तन्हस्य अद्यापि ढाल-अन्तर्धानस्य समस्या अस्ति, यत् अत्यन्तं गहनेषु जालपुटेषु मॉडलस्य कार्यक्षमतां प्रभावितं कर्तुं शक्नोति
गहनशिक्षणस्य आरम्भिकेषु दिनेषु सिग्मोइड्, तान्ह इति शास्त्रीयसक्रियकार्यद्वयं महत्त्वपूर्णां भूमिकां निर्वहति स्म, तेषां लक्षणं सीमाश्च तदनन्तरं सक्रियीकरणकार्यस्य विकासं अपि प्रवर्धयन्ति स्म यद्यपि तेषां स्थाने बहुषु परिदृश्येषु अद्यतनसक्रियीकरणकार्यं कृतम् अस्ति तथापि तेषां विशिष्टकार्येषु जालसंरचनेषु च तेषां अद्वितीयं अनुप्रयोगमूल्यं वर्तते
ReLU कार्यस्य प्रस्तावः सक्रियीकरणकार्यस्य विकासे महत्त्वपूर्णः माइलस्टोन् अस्ति । अस्य गणितीयव्यञ्जनम् सरलम् अस्ति : १.
ReLU ( x ) = अधिकतम ( 0 , x ) पाठ{ReLU} (x) = अधिकतम (0, x) .ReLU(x)=अधिकतमम्(0,x)
सिग्मोइड् तथा तान्ह इत्येतयोः तुलने ReLU गहनजालेषु महत्त्वपूर्णं लाभं दर्शयति, मुख्यतया प्रशिक्षणवेगस्य दृष्ट्या तथा ढालस्य अन्तर्धानस्य न्यूनीकरणस्य दृष्ट्या परन्तु "मृत ReLU" समस्यायाः कारणात् शोधकर्तारः विविधानि उन्नतसंस्करणाः प्रस्तावितुं प्रेरिताः सन्ति ।
ReLU इत्यस्य "मृत्यु" समस्यायाः समाधानार्थं Leaky ReLU इति प्रस्तावितं यत् -
लीकी ReLU ( x ) = { x , यदि x > 0 α x , यदि x ≤ 0 पाठ{लीकी ReLU} (x) ={x,यदिx>0αx,यदिx≤0 लीकी ReLU(x)={
x,αx,यदिx>0यदिx≤0
इत्यस्मिन्, α अल्फाα लघु धनात्मकं नित्यं भवति, प्रायः ०.०१ ।
PReLU Leaky ReLU इत्यस्य एकः प्रकारः अस्ति, यत्र ऋणात्मकस्य अर्ध-अक्षस्य प्रवणता एकः शिक्षितुं योग्यः पैरामीटर् अस्ति:
PReLU ( x ) = { x , यदि x > 0 α x , यदि x ≤ 0 पाठ{PReLU}(x) ={x,यदिx>0αx,यदिx≤0 PReLU(x)={
x,αx,यदिx>0यदिx≤0
अत्र α अल्फाα पृष्ठप्रसारद्वारा ज्ञाताः मापदण्डाः सन्ति ।
ELU ReLU इत्यस्य लाभं नकारात्मकनिवेशानां संसाधनं च संयोजयितुं प्रयतते तस्य गणितीयव्यञ्जना अस्ति :
ELU ( x ) = { x , यदि x > 0 α ( ex − 1 ) , यदि x ≤ 0 पाठ{ELU}(x) ={x,यदिx>0α(ङx−1),यदिx≤0 एलु(x)=
सः ३० वर्षाणाम् अधिकं कालात् प्रौद्योगिक्याः शोधकार्यं कर्तुं समर्पितः अस्ति, तथा च जावा, लिनक्स, जावास्क्रिप्ट्, php, css इत्यादिषु विविधभाषासु प्रवीणः अस्ति, मुक्तस्रोतक्षेत्रे सः बहु योगदानं कृतवान् अस्ति विकासक दस्तावेजीकरणस्थानकं भविष्ये सन्दर्भार्थं प्रौद्योगिकीविकासे केचन विषयाः साझां कर्तुं सर्वे तत् पश्यन्तु
