प्रौद्योगिकी साझेदारी

रेखीय प्रतिगमन प्रतिरूप

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

रेखीय प्रतिगमन

1. सैद्धान्तिकः भागः

रेखीय प्रतिगमन: सीमितदत्तांशयोः मापदण्डानां समायोजनेन सीधारेखा स्थापिता भवति, अज्ञातदत्तांशयोः प्रयोगं कर्तुं एषा ऋजुरेखा (प्रतिरूपः) उपयुज्यते ।शास्ति。

समरेखःसामान्यरूपम्：
य = व × x + द्वारा = व गुणा x + खय्=w×x+ख
समस्तस्य ऋजुरेखायाः स्थितिः द्वारा दीयते व च ब च ख चwतथाखनिश्चिनोति, wwwऋजुरेखां निर्धारयन्तुप्रवत्(अर्थात् तिर्यक्कोणः), २. bbखY अक्षे ऋजुरेखां निर्धारयन्तुअवरुद्धम्(ऋजुरेखायाः उपरि अधः च अनुवादं नियन्त्रयन्तु, यत् इत्यपि ज्ञायतेपूर्वाग्रहं ).अतः अस्माभिः केवलं गणना करणीयम् wwwतथा bbखइत्यस्य मूल्यं विशिष्टां ऋजुरेखां निर्धारयितुं शक्नोति तदनन्तरं वयं कथं अन्वेष्टव्यम् इति अध्ययनं करिष्यामः wwwतथा bbख。

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

ऋजुरेखाकारस्य उपरि w तथा b इत्येतयोः प्रभावः

सम्यग् संज्ञा

संज्ञापरिभाषा
प्रशिक्षण सेट्मॉडलस्य प्रशिक्षणार्थं प्रयुक्तः दत्तांशसमूहः
test setमॉडलस्य गुणवत्तायाः परीक्षणार्थं प्रयुक्तः दत्तांशसमूहः
प्रशिक्षण नमूना/प्रशिक्षण बिन्दु (Training Sample)प्रशिक्षणसमूहे दत्तांशस्य प्रत्येकं द्रव्यम्
गुणाःमॉडल् मध्ये दत्तांशनिवेशः संख्यात्मकमूल्यानि, श्रेणीलेबल्, चित्रपिक्सेलमूल्यानि इत्यादयः भवितुम् अर्हन्ति ।
नामपत्र मॉडल् लक्ष्यमूल्यं पूर्वानुमानं कर्तुं आवश्यकम् अस्ति । वर्गीकरणसमस्यानां कृते लेबलं प्रायः वर्गनाम भवति;

1. एकचर रेखीय प्रतिगमन

१) दत्तांशपूर्वसंसाधनम्

प्रथमं एकचररेखीयप्रतिगमनस्य अध्ययनं कुर्मः तथाकथितं एकचररेखीयप्रतिगमनं केवलं एकेन स्वतन्त्रचरेन सह रेखीयकार्यं निर्दिशति, यथा- य = व ⋅ x + द्वारा = wcdot x +bय्=w⋅x+खअर्थात्एकचर सीधा रेखा, केवलं एकः निवेशचरः अस्ति xxx . इयं ऋजुरेखा द्विविमविमानेन (क्षैतिजः अक्षः X, ऊर्ध्वाधरः अक्षः Y च) व्यक्तुं शक्यते ।

यदा वयं अविभक्तदत्तांशसमूहं प्राप्नुमः तदा वयं प्रायः दत्तांशं प्रशिक्षणसमूहे परीक्षणसमूहे च विभजामः एकः सरलः विभाजनविधिः अस्ति यत्: प्रथमानि ८०% नमूनानि प्रशिक्षणसमूहरूपेण गृह्णामः, शेषं २०% च परीक्षणसमूहः ।

२) व्ययकार्यं परिभाषयतु

मानातु वयं ज्ञातवन्तः wwwतथा bbख, तर्हि वयं ऋजुरेखा निर्धारितवन्तः, अस्माभिः पूर्वानुमानं कर्तुं मूल्यस्य निर्णयस्य सुविधायै एतां ऋजुरेखां उपयोक्तुं शक्नुमःय्' इति ।वास्तविकमूल्येन सहय्मध्येत्रुटिकियत्, वयं *"a ruler"* इति परिभाषितुं इच्छामः, यत् पूर्वानुमानितमूल्यं मापनार्थं प्रयुक्तम् य ′ य्' ।य्′सत्यमूल्येन सह य्य्य् मध्ये दोषः ।अत्र वयं प्रयुञ्ज्महेमध्यमवर्गदोषःपरिभाषयितुंव्यय कार्य：

J ( w , b ) = 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) 2 J(w,b) = frac{1}{2m}राशि_{i = 1}^m(f_{w,b}(x^{(i)}) - य^{(i)})^2जे(w,ख)=2पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))2
सूत्र विच्छेदनम्：

fw , b ( x ( i ) ) − y ( i ) f_{w,b}(x^{(i)}) - y^{(i)}चw,ख​(x(अहम्‌))−य्(अहम्‌):इत्यस्मिन्‌ fw , b ( x ( i ) ) f_{w,b}(x^{(i)}) .चw,ख​(x(अहम्‌))प्रशिक्षितप्रतिरूपस्य उपयोगेन पूर्वानुमानितं मूल्यं प्रतिनिधियति, यदा... य ( इ ) य^{(इ)}य्(अहम्‌)प्रत्येकस्य प्रशिक्षणनमूनायाः यथार्थं परिणामं प्रतिनिधियति, तयोः मध्ये अन्तरं च आदर्शेन पूर्वानुमानितस्य मूल्यस्य सत्यमूल्यस्य च मध्ये दोषं प्रतिनिधियति

दोषस्य वर्गीकरणं किमर्थम् ?

सर्वेषु नमूनासमूहेषु प्रत्येकं दोषः सकारात्मकः नकारात्मकः वा भवितुम् अर्हति, तथा च योगप्रक्रियायाः समये ऑफसेटस्य निश्चितसंभावना भविष्यति, एतेन प्रत्येकस्य द्रव्यस्य त्रुटिः अतीव विशाला भवति (यथा: -100, + 90, -२५, +३०), समाहारानन्तरं अल्पं मूल्यं (-५) प्राप्यते, अन्ते च गलत् निर्णयः प्राप्यते ।

१ २ मी फ्रैक{१}{२मी}2पु1​: सर्वेषां दत्तांशदोषाणां योगस्य औसतं प्रतिनिधियति (एतत् औसतं एकस्मिन् अर्थे सम्पूर्णस्य प्रतिरूपस्य त्रुटिं प्रतिनिधितुं शक्नोति), तथा च औसतवर्गदोषं प्राप्नोति

किमर्थं 2 इत्यनेन विभज्यते？

यतः यदा पश्चात् ढाल-अवरोहणं क्रियते तदा व्युत्पत्तिः सूचकाङ्कं २ गुणांकरूपेण विभज्यते, यतः बृहत् परिमाणेन दत्तांशस्य कृते, व्युत्पत्तिसूत्रस्य परिचयार्थं तस्य प्रतिरूपस्य उपरि अल्पः प्रभावः भवति , अनन्तरस्य आफ्सेट् कृते ।

व्ययकार्यं ज्ञात्वा अस्माभिः केवलं व्ययस्य न्यूनीकरणस्य उपायाः अन्वेष्टव्याः यत् व्ययः यथा न्यूनः भवति तथा अस्माकं पूर्वानुमानितमूल्यं वास्तविकमूल्येन समीपे भवति ।

त्रुटिव्ययफलनस्य अवलोकनेन वयं द्रष्टुं शक्नुमः यत् त्रुटिव्ययफलं द्विघातफलनम् अस्ति अर्थात् कउत्तल कार्य, उत्तलफलनस्य एकः गुणः अस्ति : १.अत्यन्तबिन्दुः अधिकतमः बिन्दुः भवति , यतः मूल्यफलनं द्विघातफलनं भवति यत् ऊर्ध्वं उद्घाट्यते (सूत्रं विस्तारयितुं शक्यते, तथा च भवान् सहजतया वर्गपदस्य गुणांकः 0 इत्यस्मात् अधिकः इति अनुभवितुं शक्नोति), अतः उत्तलफलनस्य केवलं न्यूनतमं मूल्यं भवति, वयं च केवलं need to find the न्यूनतमं मूल्यं न्यूनतमं मूल्यं भवति।त्रुटिव्ययकार्यस्य कृते ज ( व , ख ) ज(व,ख) २.जे(w,ख) , तस्य सूत्रविस्तारः यथा लिखितुं शक्यते :
J ( w , b ) = 1 2 m ∑ i = 1 m ( ( wx ( i ) + b ) − y ( i ) ) 2 J(w,b) = frac{1}{2m}राशि_{i = 1 }^m((wx^{(i)}+b) - य^{(i)})^2जे(w,ख)=2पु1​अहम्‌=1∑पु​((wx(अहम्‌)+ख)−य्(अहम्‌))2
जे जेजेआकारः मापदण्डेषु निर्भरं भवति wwwतथा bbख, यस्य समाधानं ढाल-अवरोहणद्वारा कर्तुं शक्यते ।

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

३) ढाल अवरोह

ढाल-अवरोहस्य विचारः मुख्यतया प्रचलतिआंशिक व्युत्पन्न ज्ञात कीजिएविधिः, या जैविकसम्बद्धः अस्तिचर नियन्त्रणविधिः अतीव समानः, यथा- नियन्त्रणे bbखपरिवर्तनं विना अद्यतनं कुर्वन्तु www(दृश्यम् bbखनित्यं भवति), सूत्रम् : १. w ′ = w − α ∂ J ( w ) ∂ ww' = w - अल्फा फ्रैक{आंशिक J(w)}{आंशिक w}w′=w−α∂w∂जे(w)​ क्रमेण अद्यतनं कृतम् इति सूचयति www,इत्यस्मिन्‌ α अल्फाα प्रतिनिधित्वं करोतिशिक्षण दर सोपानपरिमाणस्य प्रतिनिधित्वार्थं प्रयुक्तः, यः अवरोहवेगः इति अपि ज्ञातुं शक्यते, ∂ J ( w ) ∂ w frac{आंशिक J(w)}{आंशिक w}∂w∂जे(w)​ सम्यक् व्यज्यते wwwआंशिकव्युत्पन्नं अन्विष्य वयं प्राप्नुमः W − JW - जव−जे(भाराःवमूल्यं चजेfunction) उत्तलफलनस्य उपरि स्पर्शरेखा, यस्याः उपयोगः द्रुततमं न्यूनतां गच्छन्तं फलनमूल्यं प्रतिनिधितुं भवतिनिर्देश, तयोः उत्पादः प्रतिपादयतियत्र फंक्शन् मूल्यं शीघ्रतया न्यूनं भवति तत्र एकं पदं गच्छन्तु .इदं दूरं दत्तांशसमूहानुसारं समायोजितुं आवश्यकम् अस्ति α अल्फाαयदि अतीव विशालं भवति (सोपानस्य आकारः अतीव विशालः अस्ति), तर्हि तत् प्रति नेष्यति wwwप्रत्यक्षतया अधमबिन्दुतः परे उच्चबिन्दुपर्यन्तं गच्छति, येन न्यूनतमस्य कदापि समीपं न गच्छति, यदि α अल्फाαयदि अतिलघुः (सोपानस्य आकारः अतिलघुः) तर्हि तत् प्रति नेष्यति wwwयथा यथा न्यूनतमं समीपं गच्छति तथा तथा मन्दतरं मन्दतरं भवति, गणनाव्ययस्य उपभोगं करोति ।

शिक्षणदरः ( . α अल्फाα) समायोजनविधिः：

  1. प्रथमं लघुतरं स्थापयन्तु α अल्फाα यथा : ०.००१ ।

  2. ततः प्रत्येकं समये १० गुणा वर्धते, अधिकतमं १ यावत् ।

  3. निश्चितं मूल्यं निर्धारयित्वा, यथा : 0.01.

  4. ततः ३ गुणानि प्रक्रियां कुर्वन्तु, यथा- ०.०१ × ३ = ०.०३ , ०.०३ × ३ = ०.०९ ०.०१ गुणा ३ = ०.०३ , ०.०३ गुणा ३ = ०.०९0.01×3=0.03,0.03×3=0.09 (अस्य प्रयोजनं अभिसरणं द्रुततरं कर्तुं)।

आंशिकव्युत्पन्नस्य समाधानस्य प्रक्रिया (ढाल-अवरोहस्य दिशां ज्ञातुं) : १.

  • याचते ∂ J ( w ) ∂ w frac{आंशिक J(w)}{आंशिक w}∂w∂जे(w)​ :

    ∂ J ( w ) ∂ w frac{आंशिक J(w)}{आंशिक w}∂w∂जे(w)​ = ∂ ∂ w 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) 2 frac{partial}{आंशिक w}frac{1}{2m}योगसीमा_{i = 1}^ {m}(f_{w,b}(x^{(i)}) - य^{(i)})^2∂w∂​2पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))2

    ​ = ∂ ∂ w 1 2 m ∑ i = 1 mwx ( i ) − y ( i ) ) 2 frac{partial}{आंशिक w}frac{1}{2m}sumlimits_{i = 1}^{m}wx^{( i)} - य^{(i)})^2∂w∂​2पु1​अहम्‌=1∑पु​wx(अहम्‌)−य्(अहम्‌))2

    ​ = 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) ⋅ 2 x ( i ) frac{1}{2m}sumlimits_{i = 1}^{m}(f_{ w,b}(x^{(i)}) - य^{(i)})cdot2x^{(i)}2पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))⋅2x(अहम्‌)

    ​ = 1 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) x ( i ) frac{1}{m}sumlimits_{i = 1}^{m}(f_{w,b }(x^{(i)}) - य^{(i)})x^{(i)}पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))x(अहम्‌)

  • याचते ∂ J ( w ) ∂ b frac{आंशिक J(w)}{आंशिक ख}∂ख∂जे(w)​ :

    ∂ J ( w ) ∂ b frac{आंशिक J(w)}{आंशिक ख}∂ख∂जे(w)​ = ∂ ∂ b 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) 2 frac{partial}{आंशिक b}frac{1}{2m}योगसीमा_{i = 1}^ {m}(f_{w,b}(x^{(i)}) - य^{(i)})^2∂ख∂​2पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))2

    ​ = ∂ ∂ b 1 2 m ∑ i = 1 mwx ( i ) − y ( i ) ) 2 frac{partial}{आंशिक b}frac{1}{2m}sumlimits_{i = 1}^{m}wx^{( i)} - य^{(i)})^2∂ख∂​2पु1​अहम्‌=1∑पु​wx(अहम्‌)−य्(अहम्‌))2

    = 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) ⋅ 2 frac{1}{2m}sumlimits_{i = 1}^{m}(f_{w,b} (x^{(i)}) - य^{(i)})cdot22पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))⋅2

    ​ = 1 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) frac{1}{m}योगसीमा_{i = 1}^{m}(f_{w,b}(x^ {(इ)}) - य^{(इ)})पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))

लूप् पुनरावृत्तिद्वारा विशिष्टानि अन्वेष्टुम् wwwमूल्यं सह bbखमूल्यम्‌:

while ( ) : while(): .wनमस्कारलङ():

​ w ∗ = w − α ∂ ∂ w J ( w , b ) w^* = w - अल्फा फ्रैक{आंशिक}{आंशिक w}J(w,b)w∗=w−α∂w∂​जे(w,ख)

​ b ∗ = b − α ∂ ∂ b J ( w , b ) b^* = b - अल्फा फ्रैक{आंशिक}{आंशिक ख}J(w,b)ख∗=ख−α∂ख∂​जे(w,ख)

​ व = व ∗ व = व^* .w=w∗

​ ख = ख ∗ ख = ख^* .ख=ख∗

आरम्भे वयं w तथा b इत्येतयोः मूल्यं यादृच्छिकरूपेण कुर्मः, ततः वयं पुनरावृत्तिं कर्तुं शक्नुमः यदा त्रुटिः कस्यचित् सीमायाः न्यूनः भवति तदा निर्गन्तुं शक्नुमः, अथवा पुनरावृत्तीनां संख्यां अनुकूलितुं शक्नुमः wwwमूल्ययोगः bbखमूल्यम्‌।

2. बहुचर रेखीय प्रतिगमन

बहुचर रेखीयप्रतिगमनं आयामान् त्रिविमपर्यन्तं बहुआयामी अवस्थासु अपि विस्तारयति, यथा य = व १ x १ + व २ x २ + द्वारा = व_१ x_१ + व_२ x_२ + खय्=w1​x1​+w2​x2​+ख इति अवगन्तुं शक्यतेXअक्षः चयअक्षाः सन्ति x 1 तथा x 2 x_1 तथा x_2x1​तथाx2​ झअक्षः इति य्य्य्, एषा त्रिविमात्मका अवस्था अस्ति प्रत्येकं प्रशिक्षणनमूना त्रिविमस्थाने एकः बिन्दुः भवति ।

विधिः प्रत्येकस्य चरस्य कृते पृथक् पृथक् ( w 1 , w 2 , ... , wn , b w_1,w_2,बिन्दवः,w_n,bw1​,w2​,…,wन​,ख) ढाल-अवरोह-प्रक्रियाकरणाय

मुख्य बिन्दु: बहुचररेखीयप्रतिगमनस्य कृते भिन्नविशेषतामूल्यानां मूल्यपरिधिः भिन्नः भवति, यथा: आयुविशेषतायाः मूल्यपरिधिः: 0 0 0 ~ 100 100 100, आच्छादनक्षेत्रम् : १. ० मी २ ०मी^२0पु2 ~ 10000 मी 2 10000मी^210000पु2 , तत्र अपि स्यात्विचित्र नमूना, एकल नमूनादत्तांशस्य अस्तित्वेन प्रशिक्षणसमयः वर्धते, तथा च अभिसरणविफलता अपि भवितुम् अर्हति अतः यदा एकल नमूनादत्तांशः भवति तदा प्रशिक्षणात् पूर्वं दत्तांशस्य पूर्वसंसाधनं करणीयम्सामान्यीकृतम् प्रत्युत यदा एकवचनं नमूनादत्तांशं नास्ति तदा सामान्यीकरणस्य आवश्यकता नास्ति ।एतस्याः समस्यायाः निवारणाय अस्माभिः प्रदर्शनं कर्तव्यम्विशेषताः स्केल (सामान्य) भवन्ति ।。

१) दत्तांशपूर्वसंसाधनम्

आँकडा सामान्यीकरण संसाधन

पूरयतुदत्तांशसामान्यीकरणम्तत्र त्रयः विधिः- १.

  1. अधिकतममूल्येन विभज्य समानम् : १.

    प्रत्येकस्मिन् विशेषतायां सर्वाणि मूल्यानि तस्मिन् विशेषतायां अधिकतममूल्येन विभक्ताः भवन्ति ।

  2. औसत सामान्यीकरण : १.

    तस्य विशेषतायाः मूल्यात् प्रत्येकस्य विशेषतायाः मूल्यं घटयन्तुअर्थः, ततः विशेषतायाः अधिकतम-न्यूनतम-मूल्यानां भेदेन विभक्तम् ।

  3. जेड-स्कोर सामान्यीकरणम् : १.

    प्रत्येकं विशेषतां गणयन्तुमानक विचलनम्तथाअर्थः

    तस्य विशेषतायाः सर्वेभ्यः मूल्येभ्यः प्रत्येकस्य विशेषतायाः मूल्यं घटयन्तुऔसतमूल्यम्, ततः च विशेषतायाः विभक्तःअर्थः

यदि सामान्यीकरणं न क्रियते तर्हि विशेषतासदिशे भिन्नविशेषतानां मूल्येषु बृहत् अन्तरस्य कारणेन मूल्यकार्यं परिवर्तते । "समतलम्‌" .एवं प्रकारेण ढाल-अवरोहणं कुर्वन् ढालस्य दिशा न्यूनतममूल्यस्य दिशि व्यभिचरति, बहु च गमिष्यतिचक्करः, येन प्रशिक्षणसमयः अतीव दीर्घः भविष्यति।

सामान्यीकरणानन्तरं उद्देश्यकार्यं तुलनां दर्शयिष्यति "वृत्त", येन प्रशिक्षणवेगः महती त्वरिता भवति, अनेके भ्रमणमार्गाः च परिहृताः भवन्ति ।

दत्तांशसामान्यीकरणस्य लाभाः : १.

  1. सामान्यीकरणानन्तरंइष्टतमं समाधानं अन्वेष्टुं ढाल-अवरोहणं त्वरयति, अर्थात् प्रशिक्षणजालस्य अभिसरणं त्वरयति ।
  2. सामान्यीकरणस्य सटीकतायां सुधारस्य क्षमता वर्तते ।
२) व्ययफलनम् (एकचररेखीयप्रतिगमनस्य व्ययकार्यस्य समानम्) २.

J ( w , b ) = 1 2 m ∑ i = 1 m ( fw , b ( x ( i ) ) − y ( i ) ) 2 J(w,b) = frac{1}{2m}राशि_{i = 1}^m(f_{w,b}(x^{(i)}) - य^{(i)})^2जे(w,ख)=2पु1​अहम्‌=1∑पु​(चw,ख​(x(अहम्‌))−य्(अहम्‌))2

३) ढाल अवरोह

बहुरेखीयप्रतिगमनस्य कृते ढाल अवरोहः：

w 1 = W 1 − α 1 m ∑ i = 1 m ( fw ⃗ , bx ⃗ ( i ) − y ( i ) ) x 1 ( i ) w_1 = W_1 - अल्फा भग्न{1}{m}राशि_{i = 1}^{म}(च_{वेक{व},ख}वेक{x}^{(i)} - य^{(इ)})x_1^{(i)}w1​=व1​−αपु1​अहम्‌=1∑पु​(चw ,ख​x (अहम्‌)−य्(अहम्‌))x1(अहम्‌)​

​ ⋮ वदोत्⋮

wn = W n − α 1 m ∑ i = 1 m ( fw ⃗ , bx ⃗ ( i ) − y ( i ) ) xn ( i ) w_n = W_n - अल्फा frac{1}{m}sumlimits_{i = 1} ^{म}(च_{वेक{व},ख}वेक{x}^{(इ)} - य^{(i)})x_n^{(i)}wन​=वन​−αपु1​अहम्‌=1∑पु​(चw ,ख​x (अहम्‌)−य्(अहम्‌))xन(अहम्‌)​

b = b − α 1 m ∑ i = 1 m ( fw ⃗ , bx ⃗ ( i ) − y ( i ) ) b = b - अल्फा भग्न{1}{m}sumlimits_{i = 1}^{m}( च_{वेच{व},ख}वेच{x}^{(इ)} - य^{(इ)})ख=ख−αपु1​अहम्‌=1∑पु​(चw ,ख​x (अहम्‌)−य्(अहम्‌))

व्याख्याति: w 1 ⋯ wn w_1cdots w_nw1​⋯wन​ प्रत्येकस्य चरस्य गुणांकं प्रतिनिधियति, b च रेखीयफलनस्य नित्यपदं प्रतिनिधियति ।

3.सामान्य समीकरणम्

१) दत्तांशपूर्वसंसाधनम्

लोप...

२) व्ययकार्यम्

गणितीय व्युत्पत्ति : १.

J = 1 2 m ∑ i = 1 m ( θ ⃗ ix ⃗ i − yi ) 2 J = frac{1}{2m}sumlimits_{i = 1}^{m}(vec{theta}_i vec{x}_i - य_इ)^2जे=2पु1​अहम्‌=1∑पु​(θ अहम्‌​x अहम्‌​−य्अहम्‌​)2

​ = 1 2 m ∣ ∣ θ ⃗ x ⃗ − y ∣ ∣ 2 भग्न{1}{2m}||vec{theta} vec{x} - y||^22पु1​∣∣θ x −य्∣∣2

​ = 1 2 m ( θ ⃗ x ⃗ − y ) T ( θ ⃗ x ⃗ − y ) frac{1}{2m}(vec{theta} vec{x} - y)^T(vec{theta} vec{x} - य) ९.2पु1​(θ x −य्)टी(θ x −य्)

​ = 1 2 m ( θ ⃗ T x ⃗ T − y T ) ( θ ⃗ x ⃗ − y ) frac{1}{2m}(vec{theta}^T vec{x}^T - y^T)(vec{ थेता} वेक्{x} - य) २.2पु1​(θ टीx टी−य्टी)(θ x −य्)

​ = १ २ मी ( θ ⃗ T x ⃗ T x ⃗ θ ⃗ − y T x ⃗ θ ⃗ − θ ⃗ T x ⃗ T y + y T y ) frac{1}{2m}(vec{theta}^T vec{ x}^Tvec{x}vec{theta} - y^Tvec{x}vec{theta} -vec{theta}^Tvec{x}^Ty +y^Ty )2पु1​(θ टीx टीx θ −य्टीx θ −θ टीx टीय्+य्टीय्)

३) ढाल अवरोह

दक्षिणः θ थेताθआंशिकव्युत्पन्नं ज्ञातव्यम् : १. Δ = ∂ J ∂ θ = 1 2 m ( ∂ θ ⃗ T x ⃗ T x ⃗ θ ⃗ ∂ θ − ∂ y T x ⃗ θ ⃗ ∂ θ − ∂ θ ⃗ T x ⃗ T y ∂ θ + y T y ∂ θ ) डेल्टा =frac{partial J}{partial theta}= frac{1}{2m}(frac{partial vec{theta}^T vec{x}^Tvec{x}vec{theta}}{आंशिक थेटा} - frac{partial y^Tvec{x}vec{theta}}{partial theta} - frac{partial vec{theta}^Tvec{x}^Ty}{आंशिक थेटा} + frac{y^Ty}{आंशिक थेटा})Δ=∂θ∂जे​=2पु1​(∂θ∂θ टीx टीx θ ​−∂θ∂य्टीx θ ​−∂θ∂θ टीx टीय्​+∂θय्टीय्​)

आकृति व्युत्पत्ति नियमः १.

  1. ∂ θ TA θ ∂ θ = ( A + AT ) θ frac{आंशिक थीटा^{T}अथेटा}{आंशिक थीटा} = (A + A^T)थेटा∂θ∂θटीएकःθ​=(एकः+एकःटी)θ

  2. ∂ XTA ∂ X = A frac{आंशिक X^{T}A}{आंशिक X} = A∂X∂Xटीएकः​=एकः

  3. ∂ AX ∂ X = AT frac{आंशिक AX}{आंशिक X} = A^T∂X∂एकःX​=एकःटी

  4. ∂ A ∂ X = 0 frac{आंशिक A}{आंशिक X} = 0∂X∂एकः​=0

उपलब्धः Δ = 1 2 m ( ∂ θ ⃗ T x ⃗ T x ⃗ θ ⃗ ∂ θ − ∂ y T x ⃗ θ ⃗ ∂ θ − ∂ θ ⃗ T x ⃗ T y ∂ θ + y T y ∂ θ ) = 1 2 m ⋅ ( 2 x T x θ − 2 x T y ) = 1 m ⋅ ( x T x θ − x T y ) डेल्टा = भग्न{1}{2m}(भग्न{आंशिक vec{थेटा}^T vec{x }^Tvec{x}vec{theta}}{partial theta} - frac{partial y^Tvec{x}vec{theta}}{आंशिक थेटा} - frac{partial vec{theta}^Tvec{x}^Ty} {आंशिक थीटा} + फ्रैक{य^टय}{आंशिक थीटा}) = फ्रैक{1}{2m}cdot (2x^Txtheta - 2x^Ty) = frac{1}{m} cdot (x^Txtheta - x^ त्य) ९.Δ=2पु1​(∂θ∂θ टीx टीx θ ​−∂θ∂य्टीx θ ​−∂θ∂θ टीx टीय्​+∂θय्टीय्​)=2पु1​⋅(2xटीxθ−2xटीय्)=पु1​⋅(xटीxθ−xटीय्)
कदा Δ = 0 डेल्टा = 0Δ=0 घटकः: x T x θ = x T yx^Tx थेटा = x^Tyxटीxθ=xटीय् , θ = ( x T x ) − 1 x T y थेटा = (x^Tx)^{-1}x^Tyθ=(xटीx)−1xटीय् गणयितुं शक्यते θ थेताθ मूल्यम्‌।

ढाल अवरोहणस्य सामान्यसमीकरणस्य च तुलना：

  • ढाल अवरोह: शिक्षणदरं α चयनं आवश्यकं भवति, यस्य कृते बहुविधपुनरावृत्तिः आवश्यकी भवति यदा विशेषतानां संख्या n बृहत् भवति, तथा च विभिन्नप्रकारस्य आदर्शानां कृते उपयुक्तं भवति तदा अपि उत्तमरीत्या प्रयोक्तुं शक्यते।

  • सामान्य समीकरणम्: शिक्षणदरस्य α चयनस्य आवश्यकता नास्ति तस्य गणना एकवारं भवति, तस्य गणनायाः आवश्यकता वर्तते। ( x T x ) − 1 (x^Tx)^{-1} .(xटीx)−1 , यदि विशेषतानां संख्या nnनयदि बृहत्तरं भवति तर्हि संचालनव्ययः अधिकः भविष्यति, यतः आकृतिविलोमस्य गणनासमयजटिलता अस्ति ओ ( न ३ ) ओ(न^३) ९.ओ(न3) , प्रायः यदा nnनअद्यापि १०,००० तः न्यूनं भवति चेत् स्वीकार्यम् अस्ति ।केवलं रेखीयप्रतिमानानाम् कृते एव उपलभ्यते, अन्येषां प्रतिमानानाम् यथा लॉजिस्टिक प्रतिगमनप्रतिमानानाम् कृते न उपयुक्तम् ।

4.बहुपद प्रतिगमन

यतो हि केषुचित् सन्दर्भेषु ऋजुरेखाः सर्वेषां दत्तांशस्य अनुकूलनं कठिनं भवति, तस्मात् दत्तांशस्य अनुकूलतायै वक्राणां आवश्यकता भवति, यथा द्विघातप्रतिरूपाः, घनप्रतिरूपाः इत्यादयः

सामान्यतया दत्तांशस्य प्रतिगमनकार्यं ज्ञातं भवति चेदपि सरलकार्यपरिवर्तनेन रेखीयप्रतिरूपे परिणतुं कठिनं भवति, अतः सामान्यः उपायः अस्तिबहुपद प्रतिगमन(Polynomial Regression), अर्थात् दत्तांशं समायोजयितुं बहुपदफलनस्य उपयोगः ।

बहुपदस्य डिग्री कथं चिनोति：

बहुपदफलनस्य अनेकाः प्रकाराः सन्ति सामान्यतया भवद्भिः प्रथमं दत्तांशस्य आकारं अवलोकितव्यं ततः समस्यायाः समाधानार्थं बहुपदफलनस्य कस्य रूपस्य उपयोगः करणीयः इति निर्णयः करणीयः । यथा, दत्तांशस्य प्रकीर्णन-प्लॉट्-तः, यदि "नमयति ", भवन्तः द्विघातबहुपदस्य (अर्थात् लक्षणवर्गीकरणम्) उपयोगं कर्तुं विचारयितुं शक्नुवन्ति; द्वौ "नमयति ", भवन्तः घनबहुपदस्य उपयोगं कर्तुं विचारयितुं शक्नुवन्ति (विशेषतायाः घनशक्तिं गृहीत्वा); त्रीणि सन्ति "नमयति ”, ततः चतुर्थक्रमबहुपदस्य (विशेषतायाः चतुर्थशक्तिं गृहीत्वा), इत्यादिषु प्रयोगं विचारयन्तु ।

यद्यपि वास्तविकप्रतिगमनफलनं निश्चितपरिमाणस्य बहुपदं न भवति तथापि यावत् फिट् उत्तमः भवति तावत् वास्तविकप्रतिगमनफलनस्य अनुमानार्थं समुचितबहुपदस्य उपयोगः सम्भवः

2. प्रयोगात्मकः भागः

लेखस्य अन्ते परिशिष्टे प्रयोगे प्रयुक्ताः सर्वे मूलदत्तांशाः सन्ति ।ex1data1.txtजनसंख्यालाभयोः सम्बन्धः, २. ex1data2.txtगृहस्य मूल्ये गृहस्य परिमाणस्य, शय्यागृहसङ्ख्यायाः च प्रभावः अस्ति ।

1. एकचर रेखीय प्रतिगमन

१) दत्तांशं भारयन्तु
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
path = "ex1data1.txt"
data = pd.read_csv(path,header = None,names=['Population','Profit'])
data.head()   # 预览数据

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

२) दत्तांशं पश्यन्तु
data.describe()    # 更加详细的数据描述

  • 1

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

# 可视化训练数据
data.plot(kind = 'scatter',x = 'Population',y = 'Profit',figsize = (12,8))
plt.show()

  • 1
  • 2
  • 3

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

३) व्ययकार्यं परिभाषयतु
def computerCost(X,y,theta):    # 定义代价函数
    inner = np.power(((X*theta.T)-y),2)   # theta.T表示theta的转置
    return np.sum(inner)/(2*len(X))

  • 1
  • 2
  • 3
data.insert(0,"One",1)  # 表示在第0列前面插入一列数，其表头为One，其值为1

  • 1

दत्तांशसमूहस्य प्रथमस्तम्भे निवेशयन्तु 1 1 1कार्यम् इतिआकृतिगणनासु सुविधां करोति, यदा मैट्रिक्साः गुणिताः भवन्ति तदा भाराः प्रवृत्ताः भवन्ति wwwपूर्वाग्रहश्च bbख,यतः bbखन चरेण गुण्यते, अतः क 1 1 1, सह प्रयुक्तः bbखगुणा।

४) दत्तांशं विभज्यताम्
cols = data.shape[1]
X = data.iloc[:,0:cols - 1]  #“，”前只有“：”，表示所有的行，“，”后表示抽取数据中第[0列~第cols-1列)(左闭右开)，去掉最后一列，最后一列为预测值

y = data.iloc[:,cols - 1:cols]  #只取最后一列的值，表示预测值


  • 1
  • 2
  • 3
  • 4
  • 5
X.head()

  • 1

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

y.head()

  • 1

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

X = np.matrix(X.values)
y = np.matrix(y.values)  #只将表格中的值装换为矩阵而不是包括序号与标题

#初始化theta
theta = np.matrix(np.array([0,0]))  #先是一个一维的数据，然后在转换为一个二维的矩阵

  • 1
  • 2
  • 3
  • 4
  • 5
५) आरम्भीकरणमापदण्डाः
theta  
# => matrix([[0, 0]])

  • 1
  • 2
X.shape,theta.shape,y.shape  # 此时theta为一行列，需要进行转置
# => ((97, 2), (1, 2), (97, 1))

  • 1
  • 2
computerCost(X,y,theta)
# => 32.072733877455676

  • 1
  • 2
6) ढाल-अवरोह-कार्यं परिभाषयन्तु
def gradientDecent(X,y,theta,alpha,iters):   #iters为迭代次数
    temp = np.matrix(np.zeros(theta.shape))   #构造一个与theta大小一样的零矩阵，用于存储更新后的theta
    parmaters = int (theta.ravel().shape[1])    #.ravel()的功能是将多维数组降至一维，用于求需要求的参数个数
    cost = np.zeros(iters)   #构建iters个0的数组，相当于对每次迭代的cost进行记录
    
    for i in range(iters):
        error = (X * theta.T - y)     #记录误差值，结果为一个数组
        for j in range(parmaters):    #对每一个参数进行更新，j用于表示每一个参数
            term = np.multiply(error,X[:,j])   #.multiply 是对矩阵当中的数对应相乘，这里表示与X矩阵的第j列相乘。
            temp[0,j] = theta[0,j] - ((alpha/len(X))*np.sum(term))  #存储更行后的theta的值，.sum()表示将矩阵中的数进行求和
        
        theta = temp      #更新theta
        cost[i] = computerCost(X,y,theta)  #计算此时的代价，并记录在cost中。
    return theta,cost

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
7) अतिपैरामीटर् प्रारम्भं कुर्वन्तु
alpha  = 0.01		# 学习率
iters = 1000		# 迭代次数

  • 1
  • 2
८) ढाल अवरोह
g,cost = gradientDecent(X,y,theta,alpha,iters)
g
# => matrix([[-3.24140214,  1.1272942 ]])

  • 1
  • 2
  • 3
९) व्ययस्य गणनां कुरुत
computerCost(X,y,g)
# => 4.515955503078914

  • 1
  • 2
१०) रेखीयप्रतिरूपं आकर्षयन्तु
x = np.linspace(data.Population.min(),data.Population.max(),100) #抽取100个样本  (从data数据集中的最小值到最大值之间抽取100个样本)
f = g[0,0] + (g[0,1] * x)  #f = ax + b

fig,ax = plt.subplots(figsize = (12,8))    #figsize表示图的大小
ax.plot(x,f,'r',label = "Prediction")    #绘制直线，横坐标，纵坐标，直线名称
ax.scatter(data.Population,data.Profit,label = 'Training data')   #绘制点，横坐标，纵坐标，点的名称
ax.legend(loc = 4)  #显示图例位置
ax.set_xlabel('Population')  #设置x轴的名称
ax.set_ylabel('Profit')   #设置y轴的名称
ax.set_title('Predicted Profit vs. Population Size')  #设置标题的名称
plt.show()

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

11) व्ययपरिवर्तनवक्रं आकर्षयन्तु
fig,ax = plt.subplots(figsize = (12,8))
ax.plot(np.arange(iters),cost,'r')
ax.set_xlabel('Interations')
ax.set_ylabel('Cost')
ax.set_title("Error vs. Training Epoc")
plt.show()

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

2. बहुचर रेखीय प्रतिगमन

१) दत्तांशं भारयन्तु
path = "ex1data2.txt"
data2 = pd.read_csv(path,header = None,names=["Size","Bedroom","Price"])
data2.head()

  • 1
  • 2
  • 3

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

२) आँकडा सामान्यीकरण संसाधन
data2 = (data2 - data2.mean())/data2.std()
data2.head()

  • 1
  • 2

अत्र चित्रविवरणं सम्मिलितं कुर्वन्तु

३) दत्तांशं विभज्यताम्
data2.insert(0,'Ones',1)  #在x的第一列插入1

clos = data2.shape[1]   #存储第二维（列）的数据量
X2 = data2.iloc[:,0:clos-1]  #对X2进行赋值
y2 = data2.iloc[:,clos-1:clos]  #对y2进行赋值

X2 = np.matrix(X2.values)  #将X2转为矩阵
y2 = np.matrix(y2.values)  #将y2转为矩阵
theta2 = np.matrix(np.array([0,0,0]))  #初始化theta2为0矩阵
computerCost(X2, y2, theta2)
# => 0.48936170212765967

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
४) ढाल अवरोह
g2,cost2 = gradientDecent(X2,y2,theta2,alpha,iters)   #记录放回值g2（theta2）和cost2
g2
# => matrix([[-1.10868761e-16,  8.78503652e-01, -4.69166570e-02]])

  • 1
  • 2
  • 3
५) व्ययस्य गणनां कुरुत
computerCost(X2,y2,g2)
# => 0.13070336960771892

  • 1
  • 2
6) व्ययपरिवर्तनवक्रं आकर्षयन्तु
fig,ax = plt.subplots(figsize = (12,8))
ax.plot(np.arange(iters),cost2,'x')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

कृपया चित्रविवरणं योजयन्तु

3. सामान्य समीकरणम्

#正规方程
def normalEqn(X,y):
    theta = np.linalg.inv(X.T@X)@X.T@y   #.linalg中包含线性代数中的函数，求矩阵的逆（inv）、特征值等。@表示矩阵相乘
    return theta

  • 1
  • 2
  • 3
  • 4
final_theta2 = normalEqn(X,y)
final_theta2
# => matrix([[-3.89578088], [ 1.19303364]])

  • 1
  • 2
  • 3

3. सारांशः

आदर्शस्य प्रशिक्षणार्थं सामान्यपदार्थाः：

  1. दत्तांशपूर्वसंसाधनम् ।
  2. भवतः विशिष्टसमस्यायाः आधारेण एकं प्रतिरूपं चिनुत।
  3. मूल्यकार्यं सेट् कुर्वन्तु।
  4. इष्टतममापदण्डान् अन्वेष्टुं gradient decent algorithm इत्यस्य उपयोगं कुर्वन्तु ।
  5. मॉडलस्य मूल्याङ्कनं कृत्वा हाइपरपैरामीटर् समायोजयन्तु।
  6. भविष्यवाणीं कर्तुं आदर्शानां उपयोगं कुर्वन्तु।

4. परिशिष्टम्

1. ex1data1.txt

6.1101,17.592
5.5277,9.1302
8.5186,13.662
7.0032,11.854
5.8598,6.8233
8.3829,11.886
7.4764,4.3483
8.5781,12
6.4862,6.5987
5.0546,3.8166
5.7107,3.2522
14.164,15.505
5.734,3.1551
8.4084,7.2258
5.6407,0.71618
5.3794,3.5129
6.3654,5.3048
5.1301,0.56077
6.4296,3.6518
7.0708,5.3893
6.1891,3.1386
20.27,21.767
5.4901,4.263
6.3261,5.1875
5.5649,3.0825
18.945,22.638
12.828,13.501
10.957,7.0467
13.176,14.692
22.203,24.147
5.2524,-1.22
6.5894,5.9966
9.2482,12.134
5.8918,1.8495
8.2111,6.5426
7.9334,4.5623
8.0959,4.1164
5.6063,3.3928
12.836,10.117
6.3534,5.4974
5.4069,0.55657
6.8825,3.9115
11.708,5.3854
5.7737,2.4406
7.8247,6.7318
7.0931,1.0463
5.0702,5.1337
5.8014,1.844
11.7,8.0043
5.5416,1.0179
7.5402,6.7504
5.3077,1.8396
7.4239,4.2885
7.6031,4.9981
6.3328,1.4233
6.3589,-1.4211
6.2742,2.4756
5.6397,4.6042
9.3102,3.9624
9.4536,5.4141
8.8254,5.1694
5.1793,-0.74279
21.279,17.929
14.908,12.054
18.959,17.054
7.2182,4.8852
8.2951,5.7442
10.236,7.7754
5.4994,1.0173
20.341,20.992
10.136,6.6799
7.3345,4.0259
6.0062,1.2784
7.2259,3.3411
5.0269,-2.6807
6.5479,0.29678
7.5386,3.8845
5.0365,5.7014
10.274,6.7526
5.1077,2.0576
5.7292,0.47953
5.1884,0.20421
6.3557,0.67861
9.7687,7.5435
6.5159,5.3436
8.5172,4.2415
9.1802,6.7981
6.002,0.92695
5.5204,0.152
5.0594,2.8214
5.7077,1.8451
7.6366,4.2959
5.8707,7.2029
5.3054,1.9869
8.2934,0.14454
13.394,9.0551
5.4369,0.61705

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97

2. ex1data2.txt

2104,3,399900
1600,3,329900
2400,3,369000
1416,2,232000
3000,4,539900
1985,4,299900
1534,3,314900
1427,3,198999
1380,3,212000
1494,3,242500
1940,4,239999
2000,3,347000
1890,3,329999
4478,5,699900
1268,3,259900
2300,4,449900
1320,2,299900
1236,3,199900
2609,4,499998
3031,4,599000
1767,3,252900
1888,2,255000
1604,3,242900
1962,4,259900
3890,3,573900
1100,3,249900
1458,3,464500
2526,3,469000
2200,3,475000
2637,3,299900
1839,2,349900
1000,1,169900
2040,4,314900
3137,3,579900
1811,4,285900
1437,3,249900
1239,3,229900
2132,4,345000
4215,4,549000
2162,4,287000
1664,2,368500
2238,3,329900
2567,4,314000
1200,3,299000
852,2,179900
1852,4,299900
1203,3,239500

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47

व्यक्तिगत प्रोफाइल

सः ३० वर्षाणाम् अधिकं कालात् प्रौद्योगिक्याः शोधकार्यं कर्तुं समर्पितः अस्ति, तथा च जावा, लिनक्स, जावास्क्रिप्ट्, php, css इत्यादिषु विविधभाषासु प्रवीणः अस्ति, मुक्तस्रोतक्षेत्रे सः बहु योगदानं कृतवान् अस्ति विकासक दस्तावेजीकरणस्थानकं भविष्ये सन्दर्भार्थं प्रौद्योगिकीविकासे केचन विषयाः साझां कर्तुं सर्वे तत् पश्यन्तु

मम सम्पर्कसूचना

मेल