2024-07-12
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
सम्पूर्णं पत्रं पठित्वा मम व्यक्तिगतं सारांशं निम्नलिखितम् अस्ति, यस्मिन् ChatGPT-2 लेखस्य मुख्यसामग्री अस्ति भवान् केवलं [Paper Summary] अध्यायं पठितुं शक्नोति।
मया गृहे निर्मितं जालपुटं सामाजिकमञ्चेभ्यः आगच्छन्ति।अन्तिमः उत्पन्नः
WebText दत्तांशसमूहः
, यस्मिन् ४५ मिलियन लिङ्काः सन्ति । अन्यः भागः समाचारजालस्थलेभ्यः आगच्छति ।लेखे इदमपि उक्तं यत् विकिपीडिया इत्यादयः ग्रन्थाः अपि प्रशिक्षणदत्तांशसमूहे समाविष्टाः सन्ति, by...
विश्वे कोटिकोटिजनाः भागं गृह्णन्ति
GPT-2 प्रशिक्षणार्थं प्रयुक्तं दत्तांशसमूहं निर्मातुं स्वच्छं च कर्तुं।
डिजाइनं कृतवान् a
शब्द-स्तरीय-प्रतिनिधित्वं बाइट्-स्तरीय-प्रतिनिधित्वं च संयोजयन् संकर-निवेश-प्रतिपादनम्
. विगतशब्दस्तरीयपुस्तकालयानां कृते बहूनां पुनरावृत्तिशब्दानां निष्कासनं कृतम्, सामान्यीकरणक्षमतासुधारार्थं बाइट्-स्तरीयप्रतिनिधित्वं च प्रवर्तितम्
शब्द-स्तरीय-प्रतिपादनस्य पूर्व-लाभाः सन्ति, बाइट्-स्तरीय-प्रतिपादनस्य सामान्यीकरण-लाभाः च सन्ति ।
GPT1 कृते केचन परिवर्तनानि कृताः सन्ति:
1. प्रत्येकस्य उपखण्डस्य इनपुट् प्रति लेयर नॉर्मलाइजेशनं स्थानान्तरयन्तु।
2. स्व-ध्यानखण्डस्य अनन्तरं अतिरिक्तं स्तरसामान्यीकरणं योजयन्तु।
3. आरम्भविधौ सुधारः कृतः (प्रारम्भीकरणस्य समये अवशिष्टस्तरस्य भारः 1/√N इत्यस्य गुणनखण्डेन विस्तारितः भवति, N अवशिष्टस्तरानाम् संख्या अस्ति)।
4. शब्दकोशविस्तारः, शब्दविभाजनविस्तारः, निर्देशसमूहविस्तारः, बैचप्रक्रिया आकारविस्तारः च ।
5.GPT मध्ये 117000000 पैरामीटर्स् सन्ति,
GPT-2 इत्यस्मिन् 1542000000 पैरामीटर्स् सन्ति
。
यतो हि वयं केवलं एकवारं प्रशिक्षयामः, परन्तु विभिन्नेषु उपविभागेषु प्रतिरूपस्य कार्यक्षमतां अवलोकयितुम् इच्छामः, सर्वेषां प्रयोगानां वर्गीकरणं कर्तुं शक्यते
शून्य-शॉट् शिक्षणम्
。
परीक्षणवस्तूनि | आदर्शस्य कः पक्षः परीक्षितः भवति ? | परीक्षणपरिणाम |
---|---|---|
बालपुस्तकानि | विभिन्नप्रकारस्य शब्दावली चिन्वन्तु | एसीसी ८५.७ तः ९३.३ यावत् सुदृढः अभवत् |
लम्बाडा परीक्षा | पाठे दीर्घाश्रयाणां परिचयस्य क्षमता | PPL99.8 8.63 यावत् न्यूनीकृतम् |
विनोग्राड योजना चुनौती | सामान्य ज्ञान तर्क | ६३.७% ७०.७% यावत् वर्धितम् । |
पठनबोधः | मॉडल् मध्ये कतिपयानि स्मृतिक्षमतानि आवश्यकानि सन्ति | ४ परीक्षणं ३ ताजाः ऐतिहासिकाः अभिलेखाः च |
संक्षेपः | वार्तालेखानां सारांशं निष्कासयितुं क्षमता | ऐतिहासिकपरिणामानां अनुरूपम् |
अनुवदति | बृहत् आदर्शस्य स्वचालितशिक्षणस्य अनुवादक्षमता | आङ्ग्लभाषायाः अनुवादः दुर्बलः अस्ति, यदा तु फ्रेंचभाषायाः अनुवादः बेन्चमार्कस्तरं प्राप्नोति । |
प्रश्नोत्तर | युक्तप्रश्नानां सम्यक् उत्तरं दातुं आदर्शस्य क्षमता | सटीकता ५.३ गुणा वर्धिता |
GPT-2 पत्रस्य मूलसामग्री एकस्मिन् वाक्ये सारांशतः वक्तुं शक्यते अर्थात्
जीपीटी मॉडलस्य आधारेण लेखकेन मॉडलस्य आकारः प्रशिक्षणदत्तांशसमूहस्य आकारः च वर्धितः, तथा च ज्ञातं यत् जीपीटी-2 स्वयमेव एनएलपी-विभिन्नक्षेत्रेषु कार्यलक्ष्याणां शिक्षणं अनुकूलितुं पूर्णं च कर्तुं शक्नोति।
。
यथा, वयं दैनिकसंभाषणपाठस्य वार्ताप्रतिवेदनपाठस्य च दत्तांशसमूहान् एकस्मिन् समये नियतभाषाप्रतिरूपे निवेशयामः, तथा च एषः दत्तांशसमूहः पर्याप्तं विशालः, प्रतिरूपः पर्याप्तं विशालः, प्रशिक्षणसमयः च पर्याप्तः दीर्घः भवति अन्तिमप्रतिरूपे दैनन्दिनवार्तालापानां, वार्ताप्रतिवेदनानां च भिन्नपरिदृश्यानां भेदं कर्तुं क्षमता भविष्यति, न केवलं, आदर्शे स्वयमेव केचन नवीनक्षमता अपि भविष्यन्ति, यथा वार्तासारांशलेखनस्य क्षमता।
अस्य अर्थः अस्ति यत् बृहत् भाषाप्रतिमानानाम् सामान्यीकरणक्षमता प्रबलाः सन्ति, परन्तु तस्य अर्थः अपि अस्ति
बृहत् भाषाप्रतिमानाः सम्भाव्यतया स्वायत्ताः भविष्यन्ति
. ततः अयं लेखः लेखकेन सूचीकृतानां कतिपयानां स्वतन्त्रक्षेत्राणां प्रयोगपरिणामान् प्रस्तुतं करोति ।
GPT पत्रस्य तुलने यस्मिन् केवलं Large Dataset इत्यस्य उल्लेखः आसीत्, GPT-2 पत्रे LLM (Large Language Model) इत्यस्य वर्णनं दृश्यते स्म ।
मूल कागज पता: https://cdn.openai.com/better-language-models/language_models_are_uns