LLaMA2 मॉडल व्यावसायिक उपयोगाय मुक्तस्रोतः अस्ति: तस्य शक्तिः ChatGPT इत्यनेन सह तुलनीयः अस्ति, AI_developdoc इत्यस्य नूतनानां ऊर्ध्वतानां अन्वेषणं करोति

LLaMA2 मॉडलः मुक्तस्रोतः व्यावसायिकरूपेण च उपलब्धः अस्ति: तस्य शक्तिः ChatGPT इत्यनेन सह तुलनीयः अस्ति, AI इत्यस्य नूतनानां ऊर्ध्वतानां अन्वेषणं करोति

2024-07-08

[बृहत् मॉडल्] व्यावसायिकरूपेण उपलब्धं सशक्तं च LLaMA2 अत्र अस्ति

LLaMA2 इत्यस्य परिचयः

२०२३ तमस्य वर्षस्य जुलैमासस्य १९ दिनाङ्के मेटा इत्यनेन मुक्तस्रोतव्यापारिकमाडलं ल्लामा २ इति प्रदर्शितम् ।

ल्लामा २ ७ अरबतः ७० अरबपर्यन्तं मापदण्डपर्यन्तं पूर्वप्रशिक्षितानां सूक्ष्मतया च जननात्मकपाठप्रतिमानानाम् एकः संग्रहः अस्ति ।

Llama-2-Chat इति नामकं सूक्ष्म-समायोजनं LLMs संभाषण-उपयोग-प्रकरणानाम् अनुकूलनं भवति । Llama-2-Chat मॉडल् अस्माभिः परीक्षितेषु अधिकांशेषु बेन्चमार्केषु मुक्तस्रोतचैट मॉडल् इत्यस्मात् अधिकं प्रदर्शनं करोति, तथा च उपयोगितायाः सुरक्षायाश्च मानवीयमूल्यांकनेषु ChatGPT तथा PaLM इत्यादिषु केषुचित् लोकप्रियेषु बन्दस्रोतमाडलयोः सममूल्यम् अस्ति

LLaMA-2-chat इति प्रायः एकमात्रं मुक्तस्रोतप्रतिरूपं यत् RLHF करोति । RLHF इत्यस्य ५ दौरस्य अनन्तरं मेटा इत्यस्य स्वस्य पुरस्कारप्रतिरूपस्य GPT-4 इत्यस्य च मूल्याङ्कनस्य अन्तर्गतं LLaMA-2 इत्यनेन ChatGPT इत्यस्मात् उत्तमं प्रदर्शनं दर्शितम् ।

आदर्शसूची

ल्लमा२-चर्चा: २.

ल्लमा२-चट-७B

ल्लमा२-चट-१३B

ल्लमा२-चट-७०B

अन्येषां मॉडलानां कृते कृपया पश्यन्तु:
https://huggingface.co/मेटा-लामा

प्रशिक्षणदत्तांशः

२ खरबटोकनाधिकानां दत्तांशसमूहे प्रशिक्षितः ।
सूक्ष्म-समायोजन-दत्तांशेषु सार्वजनिकरूपेण उपलब्धाः निर्देशदत्तांशसमूहाः, तथैव १० लक्षं तः अधिकाः नवीनाः मानव-टिप्पणीकृताः उदाहरणानि च सन्ति ।
प्रशिक्षणपूर्वदत्तांशस्य अन्तिमतिथिः सितम्बर २०२२ अस्ति

प्रशिक्षणसूचना

सर्वेषां मॉडलानां प्रशिक्षणं 4M टोकनस्य वैश्विकबैच आकारस्य उपयोगेन भवति ।
बृहत्तरं ७० अरबं पैरामीटर् मॉडल् अनुमानस्य मापनीयतां सुधारयितुम् Grouped-Query Attention (GQA) इत्यस्य उपयोगं करोति ।
प्रशिक्षणकालः २०२३ जनवरीतः २०२३ जुलैपर्यन्तं भवति ।
साधारणः पाठप्रतिरूपः अस्ति ।
प्रशिक्षणपूर्वप्रक्रियायाः कालखण्डे ए१००-८०जीबी इत्यत्र ३३०,००० जीपीयूघण्टाः व्यतीताः ।