प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

पत्र सारांश

सम्पूर्णं पत्रं पठित्वा मम व्यक्तिगतं सारांशं निम्नलिखितम् अस्ति, यस्मिन् ChatGPT-2 लेखस्य मुख्यसामग्री अस्ति भवान् केवलं [Paper Summary] अध्यायं पठितुं शक्नोति।

data set

मया गृहे निर्मितं जालपुटं सामाजिकमञ्चेभ्यः आगच्छन्ति।अन्तिमः उत्पन्नः
WebText दत्तांशसमूहः
, यस्मिन् ४५ मिलियन लिङ्काः सन्ति । अन्यः भागः समाचारजालस्थलेभ्यः आगच्छति ।लेखे इदमपि उक्तं यत् विकिपीडिया इत्यादयः ग्रन्थाः अपि प्रशिक्षणदत्तांशसमूहे समाविष्टाः सन्ति, by...
विश्वे कोटिकोटिजनाः भागं गृह्णन्ति
GPT-2 प्रशिक्षणार्थं प्रयुक्तं दत्तांशसमूहं निर्मातुं स्वच्छं च कर्तुं।

इनपुट प्रतिनिधित्व

डिजाइनं कृतवान् a
शब्द-स्तरीय-प्रतिनिधित्वं बाइट्-स्तरीय-प्रतिनिधित्वं च संयोजयन् संकर-निवेश-प्रतिपादनम्
. विगतशब्दस्तरीयपुस्तकालयानां कृते बहूनां पुनरावृत्तिशब्दानां निष्कासनं कृतम्, सामान्यीकरणक्षमतासुधारार्थं बाइट्-स्तरीयप्रतिनिधित्वं च प्रवर्तितम्

शब्द-स्तरीय-प्रतिपादनस्य पूर्व-लाभाः सन्ति, बाइट्-स्तरीय-प्रतिपादनस्य सामान्यीकरण-लाभाः च सन्ति ।

प्रतिकृति

GPT1 कृते केचन परिवर्तनानि कृताः सन्ति:

1. प्रत्येकस्य उपखण्डस्य इनपुट् प्रति लेयर नॉर्मलाइजेशनं स्थानान्तरयन्तु।

2. स्व-ध्यानखण्डस्य अनन्तरं अतिरिक्तं स्तरसामान्यीकरणं योजयन्तु।

3. आरम्भविधौ सुधारः कृतः (प्रारम्भीकरणस्य समये अवशिष्टस्तरस्य भारः 1/√N इत्यस्य गुणनखण्डेन विस्तारितः भवति, N अवशिष्टस्तरानाम् संख्या अस्ति)।

4. शब्दकोशविस्तारः, शब्दविभाजनविस्तारः, निर्देशसमूहविस्तारः, बैचप्रक्रिया आकारविस्तारः च ।

5.GPT मध्ये 117000000 पैरामीटर्स् सन्ति,
GPT-2 इत्यस्मिन् 1542000000 पैरामीटर्स् सन्ति
。

प्रयोगं

यतो हि वयं केवलं एकवारं प्रशिक्षयामः, परन्तु विभिन्नेषु उपविभागेषु प्रतिरूपस्य कार्यक्षमतां अवलोकयितुम् इच्छामः, सर्वेषां प्रयोगानां वर्गीकरणं कर्तुं शक्यते
शून्य-शॉट् शिक्षणम्
。

सारांशं कुरुत

GPT-2 पत्रस्य मूलसामग्री एकस्मिन् वाक्ये सारांशतः वक्तुं शक्यते अर्थात्
जीपीटी मॉडलस्य आधारेण लेखकेन मॉडलस्य आकारः प्रशिक्षणदत्तांशसमूहस्य आकारः च वर्धितः, तथा च ज्ञातं यत् जीपीटी-2 स्वयमेव एनएलपी-विभिन्नक्षेत्रेषु कार्यलक्ष्याणां शिक्षणं अनुकूलितुं पूर्णं च कर्तुं शक्नोति।
。

यथा, वयं दैनिकसंभाषणपाठस्य वार्ताप्रतिवेदनपाठस्य च दत्तांशसमूहान् एकस्मिन् समये नियतभाषाप्रतिरूपे निवेशयामः, तथा च एषः दत्तांशसमूहः पर्याप्तं विशालः, प्रतिरूपः पर्याप्तं विशालः, प्रशिक्षणसमयः च पर्याप्तः दीर्घः भवति अन्तिमप्रतिरूपे दैनन्दिनवार्तालापानां, वार्ताप्रतिवेदनानां च भिन्नपरिदृश्यानां भेदं कर्तुं क्षमता भविष्यति, न केवलं, आदर्शे स्वयमेव केचन नवीनक्षमता अपि भविष्यन्ति, यथा वार्तासारांशलेखनस्य क्षमता।

अस्य अर्थः अस्ति यत् बृहत् भाषाप्रतिमानानाम् सामान्यीकरणक्षमता प्रबलाः सन्ति, परन्तु तस्य अर्थः अपि अस्ति
बृहत् भाषाप्रतिमानाः सम्भाव्यतया स्वायत्ताः भविष्यन्ति
. ततः अयं लेखः लेखकेन सूचीकृतानां कतिपयानां स्वतन्त्रक्षेत्राणां प्रयोगपरिणामान् प्रस्तुतं करोति ।

GPT पत्रस्य तुलने यस्मिन् केवलं Large Dataset इत्यस्य उल्लेखः आसीत्, GPT-2 पत्रे LLM (Large Language Model) इत्यस्य वर्णनं दृश्यते स्म ।

---

पत्रस्य मूलपाठस्य व्याख्या

मूल कागज पता: https://cdn.openai.com/better-language-models/language_models_are_uns