प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

अद्यत्वे कृत्रिमबुद्धेः तीव्रविकासेन कुशलानाम् उत्तमानाञ्च भाषाप्रतिमानानाम् अनुसरणं गूगलडीपमाइण्ड्-दलं RecurrentGemma इति सफलतापूर्वकं प्रतिरूपं विकसितुं प्रेरितवान् "RecurrentGemma: Efficient Open Language Models Beyond Transformers" इति पत्रे विस्तृतं एतत् नवीनं प्रतिरूपं रेखीयपुनरावृत्ति-स्थानीय-अवधान-तन्त्राणां संयोजनेन भाषा-संसाधनस्य मानकान् पुनः परिभाषितुं प्रतिज्ञायते

आदर्श वास्तुकला

RecurrentGemma मॉडलस्य वास्तुकला तस्य कुशलप्रदर्शनस्य मूलम् अस्ति यत् इदं Google DeepMind इत्यनेन प्रस्तावितायाः Griffin आर्किटेक्चरस्य आधारेण अस्ति RecurrentGemma इत्यस्य मॉडल आर्किटेक्चर इत्यत्र गहनतां गच्छन् प्रथमं Griffin आर्किटेक्चरस्य आधारं अवगन्तुं आवश्यकं यत् RecurrentGemma इत्यस्य आधारेण कथं नवीनतां अनुकूलनं च करोति इति।

RecurrentGemma Griffin आर्किटेक्चरस्य प्रमुखं परिवर्तनं करोति, यस्मिन् इनपुट् एम्बेडिंग्स् इत्यस्य संसाधनं भवति । मॉडलस्य इनपुट् एम्बेडिंग् मॉडलस्य विस्तारस्य वर्गमूलस्य बराबरेन नित्येन गुणितं भवति । एषः उपचारः मॉडलस्य इनपुट् पक्षं समायोजयति परन्तु आउटपुट् पक्षं न परिवर्तयति यतोहि आउटपुट् एम्बेडिंग् एतत् गुणनकारकं न प्रयोजयति । एतत् समायोजनं मॉडलं अधिकतया सूचनां संसाधितुं शक्नोति तथा च मॉडलविस्तारेषु स्थिरतां निर्वाहयति । एतत् परिवर्तनं प्रतिरूपस्य गणितीयव्यञ्जने सूचनाप्रवाहे च महत्त्वपूर्णां भूमिकां निर्वहति । इदं न केवलं निवेशदत्तांशस्य प्रारम्भिकप्रक्रियाकरणं मॉडलस्य अनुकूलनं करोति, अपितु एम्बेडिंग्-परिमाणं समायोजयित्वा भाषायाः लक्षणं उत्तमरीत्या गृह्णाति, प्रतिनिधित्वं च करोति

RecurrentGemma मॉडलस्य कार्यक्षमता, कार्यक्षमता च बहुधा तस्य हाइपरपैरामीटर् द्वारा निर्धारितं भवति । एते अतिमापदण्डाः आदर्शपरिभाषायाः प्रमुखः भागः सन्ति, तेषु निम्नलिखितपक्षाः समाविष्टाः सन्ति किन्तु तेषु सीमिताः न सन्ति ।

• कुल मापदण्ड: 270 मिलियन पैरामीटर्स्, यत् मॉडलस्य जटिलतां क्षमतां च प्रदर्शयति।
• अनिहिताः मापदण्डाः: 200 मिलियन पैरामीटर्स्, यत् एम्बेडिंग् लेयरं विहाय मॉडल् मध्ये पैरामीटर्स् इत्यस्य संख्या अस्ति ।
• पैरामीटर् एम्बेडिंग्: ०७० मिलियनं मापदण्डाः, ये प्रतिरूपस्य शब्दावलीनिक्षेपणेन सह प्रत्यक्षतया सम्बद्धाः सन्ति ।
• शब्दकोश: २५६,००० शब्दाः, यत् आदर्शः अवगन्तुं जनयितुं च शक्नोति इति कुलशब्दसङ्ख्या ।
• मॉडल चौड़ाई:2560, यत् आदर्शस्य आन्तरिकप्रतिपादनस्य आयामत्वं प्रतिनिधियति ।
• आर एन एन चौड़ाई:2560, यत् पुनरावर्तनीयस्य तंत्रिकाजालभागस्य विस्तारः अस्ति ।
• एमएलपी विस्तार कारक:3, यत् प्रतिरूपे बहुस्तरीयस्य परसेप्ट्रॉन् इत्यस्य विस्तारस्य डिग्रीम् प्रभावितं करोति ।
• गहनता: २६ स्तराः, यत् मॉडलस्य स्तरानाम् संख्या अस्ति, यत् मॉडलेन दत्तांशसंसाधनस्य गभीरताम् प्रतिबिम्बयति ।
• ध्यानशिराणां संख्या:10, यत् अनुक्रमस्य संसाधनकाले आदर्शेन प्रयुक्तस्य ध्यानतन्त्रस्य शिरः संख्यां प्रतिनिधियति ।
• स्थानीय ध्यानविण्डो आकारः:2048, यत् क्रमे स्थानीय-अवधान-तन्त्रस्य व्याप्तिम् परिभाषयति ।

सारणी 1 एतेषां प्रमुखानां अतिमापदण्डानां सारांशं ददाति, तथा च अधिकविस्तृता आदर्शपरिभाषा De et al. एते हाइपरपैरामीटर् एकत्र RecurrentGemma मॉडलस्य आधारं भवन्ति, येन लघुस्मृतिपदचिह्नं निर्वाहयन् दीर्घक्रमस्य कुशलं संसाधनं प्राप्तुं शक्यते

ग्रिफिन् आर्किटेक्चरस्य सावधानीपूर्वकं परिवर्तनस्य माध्यमेन अतिपैरामीटर्-सावधानीपूर्वकं समायोजनस्य माध्यमेन च RecurrentGemma मॉडल् न केवलं सिद्धान्ते स्वस्य उन्नतिं प्रदर्शयति, अपितु व्यावहारिक-अनुप्रयोगेषु स्वस्य कार्यक्षमतां, शक्तिशालिनः भाषा-संसाधन-क्षमतां च सिद्धयति

प्रशिक्षणविवरणम्

RecurrentGemma-2B इत्यस्य पूर्वप्रशिक्षणं 2 खरब टोकनस्य उपयोगं करोति यद्यपि एषा मात्रा Gemma-2B इत्यनेन उपयुज्यमानस्य 3 खरब टोकनस्य अपेक्षया लघु अस्ति तथापि एतत् विशालं दत्तांशसमूहं निर्माति तथा च मॉडलस्य कृते समृद्धभाषासूचनाः प्रदाति

पूर्वप्रशिक्षणार्थं दत्तांशस्रोताः मुख्यतया आङ्ग्लभाषायाः ऑनलाइनदस्तावेजाः, गणितं, कोडाः च सन्ति । न केवलं एषः दत्तांशः विषयाणां क्षेत्राणां च विस्तृतपरिधिं आच्छादयति, अपितु अवांछितं वा असुरक्षितं वा सामग्रीं न्यूनीकर्तुं व्यक्तिगतं वा संवेदनशीलं वा दत्तांशं बहिष्कृत्य सावधानीपूर्वकं छानितं स्वच्छं च भवति अपि च, मूल्याङ्कनस्य न्याय्यतां सुनिश्चित्य सर्वे मूल्याङ्कनसमूहाः प्रशिक्षणपूर्वदत्तांशसमूहात् बहिष्कृताः भवन्ति ।

RecurrentGemma-2B प्रथमं पूर्वप्रशिक्षणे एकं विशालं सामान्यदत्तांशमिश्रणस्य उपयोगं करोति, ततः अग्रे प्रशिक्षणार्थं लघुतरं किन्तु उच्चगुणवत्तायुक्तदत्तांशसमूहं प्रति गच्छति । एषः मञ्चितप्रशिक्षणपद्धतिः मॉडलं विस्तृतदत्तांशपरिधिषु सामान्यभाषाप्रतिनिधित्वं ज्ञातुं साहाय्यं करोति, ततः अधिकविशेषदत्तांशैः परिष्कृत्य अनुकूलनं च करोति

पूर्व-प्रशिक्षणानन्तरं RecurrentGemma-2B इत्यस्य निर्देश-ट्यूनिङ्ग-द्वारा आरएलएचएफ-एल्गोरिदम् इत्यनेन च सूक्ष्म-समायोजनं कृतम् । अस्याः प्रक्रियायाः उद्देश्यं प्रतिरूपस्य अनुकूलनं भवति येन सः निर्देशान् उत्तमरीत्या अनुसरणं कर्तुं शक्नोति तथा च उच्चपुरस्कारैः सह प्रतिक्रियाः जनयितुं शक्नोति ।

Instruction Tuning इति प्रशिक्षणपद्धतिः अस्ति या एकं मॉडलं विशिष्टं निर्देशस्वरूपं अवगन्तुं प्रतिक्रियां च दातुं समर्थयति । RecurrentGemma-2B विशिष्टसंभाषणस्वरूपस्य पालनार्थं प्रशिक्षितं भवति, यत् विशिष्टनियन्त्रणटैगैः परिभाषितं भवति, यथा उपयोक्तृनिवेशः तथा मॉडलनिर्गमः प्रत्येकं भिन्नटैगैः सह चिह्नितः भवति

आरएलएचएफ एल्गोरिदम् एकः उन्नतः सूक्ष्म-समायोजन-प्रविधिः अस्ति यत् सुदृढीकरण-शिक्षण-रूपरेखायाः माध्यमेन मॉडलस्य उत्पादनं अनुकूलयति । आरएलएचएफ इत्यस्मिन् मानवप्रतिक्रियायाः आधारेण मॉडलस्य उत्पादनस्य मूल्याङ्कनं भवति तथा च उत्पादनस्य गुणवत्तायाः पुरस्कारस्य च उन्नयनार्थं मूल्याङ्कनपरिणामानां आधारेण समायोजितं भवति। एतत् अल्गोरिदम् मॉडलं भिन्नसन्दर्भेषु अधिकसमुचितप्रतिक्रियाः कथं जनयितुं शक्यन्ते इति ज्ञातुं समर्थं करोति ।

निर्देशसमायोजनस्य तथा RLHF सूक्ष्म-समायोजनस्य माध्यमेन RecurrentGemma-2B न केवलं उच्चगुणवत्तायुक्तं भाषानिर्गमं उत्पादयितुं समर्थः अस्ति, अपितु वार्तालापे निर्देशानां अनुसरणं च उत्तमं प्रदर्शनं करोति एषा प्रशिक्षणपद्धतिः प्रतिरूपं लचीलतां अनुकूलतां च प्रदाति, येन सः विविध-अनुप्रयोग-परिदृश्येषु कार्यं कर्तुं शक्नोति ।

एवं प्रकारेण RecurrentGemma-2B एकं शक्तिशालीं भाषाप्रतिरूपं भवति यत् विविधकार्येषु वातावरणेषु च कुशलं सटीकं च भाषासंसाधनं प्रदातुं समर्थं भवति

गणयति

RecurrentGemma-2B इत्यस्य कार्यप्रदर्शनस्य मूल्याङ्कनस्य प्रथमं सोपानं स्वचालितं बेन्चमार्किंग् अस्ति । एतेषु परीक्षणेषु प्रश्नोत्तरं, पाठसारांशीकरणं, भाषागततर्कः, इत्यादीनि च सन्ति, परन्तु एतेषु एव सीमितं न भवति, विविधानि लोकप्रियाः अधःप्रवाहकार्यं कवरं कुर्वन्ति एतेषु कार्येषु RecurrentGemma-2B इत्यस्य कार्यक्षमतायाः तुलना Gemma-2B इत्यनेन सह क्रियते, परिणामेषु ज्ञायते यत् यद्यपि RecurrentGemma-2B इत्यस्य प्रदर्शनं अल्पसंख्याकानां टोकनानाम् उपरि भवति तथापि तस्य कार्यक्षमता Gemma-2B इत्यनेन सह तुलनीयम् अस्ति

MMLU 5-shot, HellaSwag 0-shot, PIQA 0-shot इत्यादिषु बहुषु शैक्षणिक-मापदण्डेषु RecurrentGemma-2B इत्यस्य प्रदर्शनं Gemma-2B इत्यस्य सदृशं भवति, यत् विभिन्नेषु कार्येषु तस्य बहुमुख्यतां प्रभावशीलतां च सिद्धयति एते परीक्षणपरिणामाः न केवलं भाषायाः गहनबोधं प्रतिरूपस्य प्रदर्शयन्ति, अपितु व्यावहारिकप्रयोगेषु तस्य क्षमताम् अपि प्रतिबिम्बयन्ति ।

स्वचालितमापदण्डानां अतिरिक्तं RecurrentGemma-2B इत्यस्य परीक्षणं मानवमूल्यांकनस्य विरुद्धं कृतम् अस्ति । भाषाप्रतिरूपं मानवस्य अपेक्षां पूरयन्तः प्रतिक्रियाः जनयितुं शक्नोति वा इति आकलने मानवमूल्यांकनं महत्त्वपूर्णं सोपानम् अस्ति । अस्मिन् क्रमे RecurrentGemma-2B (RecurrentGemma-2B-IT) इत्यस्य एकस्य निर्देश-ट्यून्ड्-रूपस्य तुलना Mistral 7B v0.2 Instruct मॉडल् इत्यनेन सह कृता ।

मानवमूल्यांकनेषु रचनात्मकलेखनसङ्केतनकार्ययोः अनुसरणं कर्तुं प्रायः १,००० निर्देशानां संग्रहस्य उपयोगः भवति । RecurrentGemma-2B-IT इत्यनेन अस्मिन् सेट् मध्ये प्रभावशाली प्रदर्शनं कृतम्, यत्र 43.7% विजयस्य दरः प्राप्तः, यत् Gemma-1.1-2B-IT इत्यस्य 45.0% इत्यस्मात् किञ्चित् न्यूनम् एव । एतत् परिणामं दर्शयति यत् RecurrentGemma-2B इत्यस्य जटिलनिर्देशान् अवगन्तुं निष्पादयितुं च क्षमता विद्यमानानाम् उन्नतप्रतिमानानाम् तुलनीया अस्ति ।

RecurrentGemma-2B-IT इत्यस्य मूल्याङ्कनं मूलभूतसुरक्षाप्रोटोकॉलपरीक्षणं कुर्वन्तः प्रायः ४०० प्रॉम्प्ट्-सङ्ग्रहे अपि कृतम्, येन ५९.८% विजयदरः प्राप्तः, यत् सुरक्षामार्गदर्शिकानां अनुसरणं कर्तुं मॉडलस्य श्रेष्ठतां प्रदर्शयति स्म

स्वचालितमापदण्डानां मानवमूल्यांकनस्य च संयोजनेन RecurrentGemma-2B इत्यस्य कार्यक्षमतायाः व्यापकरूपेण परीक्षणं कृतम् । स्वचालितपरीक्षणेन विभिन्नभाषाकार्ययोः प्रतिरूपस्य कार्यप्रदर्शनस्य परिमाणात्मकं मूल्याङ्कनं भवति, यदा तु मानवमूल्यांकनं प्रतिरूपस्य उत्पादनस्य गुणवत्तायाः गुणात्मकं अवगमनं प्रदाति एषः व्यापकः मूल्याङ्कनपद्धतिः सुनिश्चितं करोति यत् RecurrentGemma-2B न केवलं सिद्धान्ततः उत्तमं प्रदर्शनं करोति अपितु व्यावहारिकप्रयोगेषु उच्चगुणवत्तायुक्तभाषाजननं अवगमनं च प्रदाति।

अनुमान गति मानदण्ड

अनुमानवेगः भाषाप्रतिरूपस्य उपयोगितायाः मापनार्थं मुख्यमात्रासु अन्यतमः अस्ति, विशेषतः दीर्घक्रमदत्तांशैः सह व्यवहारे । RecurrentGemma-2B इत्यस्य अनुमानवेगस्य अनुकूलनं एकः हाइलाइट् अस्ति यः पारम्परिकात् Transformer मॉडलात् भेदं करोति । पारम्परिक-Transformer मॉडल् मध्ये, कुशल-अनुक्रम-संसाधनाय, मॉडल्-इत्यस्य की-मूल्यं (KV)-सञ्चयं पुनः प्राप्तुं, उपकरणस्मृतौ लोड् कर्तुं च आवश्यकम् अस्ति । यथा यथा अनुक्रमदीर्घता वर्धते तथा तथा केवी-सञ्चयस्य आकारः अपि रेखीयरूपेण वर्धते, यत् न केवलं स्मृति-उपयोगं वर्धयति, अपितु दीर्घ-अनुक्रमं नियन्त्रयितुं मॉडलस्य क्षमताम् अपि सीमितं करोति यद्यपि स्थानीय-अवधान-तन्त्राणां माध्यमेन संग्रहणस्य आकारः न्यूनीकर्तुं शक्यते तथापि एतत् प्रायः किञ्चित् कार्यप्रदर्शनस्य व्ययेन आगच्छति ।

RecurrentGemma-2B उपर्युक्तसमस्यानां समाधानं स्वस्य अभिनववास्तुनिर्माणस्य माध्यमेन करोति। इदं क्रमदीर्घतायाः सह वर्धमानस्य KV-सञ्चयस्य उपरि अवलम्बं न कृत्वा निवेश-अनुक्रमं नियत-आकार-स्थितौ संपीडयति । एतत् डिजाइनं स्मृतिप्रयोगं महत्त्वपूर्णतया न्यूनीकरोति तथा च दीर्घक्रमसंसाधनं कुर्वन् प्रतिरूपं कुशलं अनुमानवेगं निर्वाहयितुं समर्थं करोति ।

बेन्चमार्क परीक्षणेषु RecurrentGemma-2B इत्यनेन महत्त्वपूर्णाः थ्रूपुट् लाभाः प्रदर्शिताः । यथा चित्रे 1a दर्शितं, एकस्मिन् TPUv5e उपकरणे, RecurrentGemma-2B 2k टोकनस्य संकेतात् भिन्नदीर्घतायाः अनुक्रमस्य नमूनाकरणं कुर्वन् प्रति सेकण्ड् 6k टोकनपर्यन्तं थ्रूपुटं प्राप्तुं समर्थः भवति, यदा तु Gemma मॉडल् यथा यथा कैशः वर्धते तथा वर्धते .थ्रूपुट् न्यूनीभवति।

RecurrentGemma-2B इत्यस्य नियतावस्थायाः आकारः तस्य कुशलस्य अनुमानस्य कुञ्जी अस्ति । गेम्मा मॉडल् इत्यनेन सह तुलने RecurrentGemma-2B इत्यस्य स्थितिः अनुक्रमस्य दीर्घतायाः सह न वर्धते, यस्य अर्थः अस्ति यत् सः होस्ट् मेमोरी आकारेण सीमितः न भूत्वा किमपि दीर्घतायाः अनुक्रमं जनयितुं शक्नोति दीर्घक्रमसंसाधने एतत् विशेषतया महत्त्वपूर्णं भवति, यतः एतत् प्रतिरूपं उच्चप्रदर्शनं निर्वाहयन् दीर्घतरपाठदत्तांशसंसाधितुं शक्नोति ।

तर्कवेगस्य सुधारः न केवलं सिद्धान्ते महत् महत्त्वं धारयति, अपितु व्यावहारिकप्रयोगेषु अपि तस्य मूल्यं दर्शयति । संसाधन-संकुचित-वातावरणेषु, यथा मोबाईल-यन्त्रेषु अथवा एज-कम्प्यूटिङ्ग्-यन्त्रेषु, RecurrentGemma-2B इत्यस्य उच्च-थ्रूपुट्, न्यून-स्मृति-पदचिह्नं च एतत् आदर्शं विकल्पं करोति तदतिरिक्तं, कुशलः अनुमानवेगः अपि मॉडलं उपयोक्तृअनुरोधानाम् प्रतिक्रियां शीघ्रं दातुं तथा च सुचारुतरं अन्तरक्रियाशीलं अनुभवं प्रदातुं समर्थयति ।

उत्तरदायी परिनियोजन

कृत्रिमबुद्धेः क्षेत्रे आदर्शानां परिनियोजनं न केवलं प्रौद्योगिक्याः साक्षात्कारः, अपितु सुरक्षायाः नैतिकदायित्वस्य च ग्रहणम् अपि भवति RecurrentGemma-2B इत्यस्य परिनियोजनरणनीतिः एतेषु प्रमुखकारकेषु बलं पूर्णतया प्रतिबिम्बयति ।

मॉडल् परिनियोजनात् पूर्वं RecurrentGemma-2B इत्येतत् मानकशैक्षणिकसुरक्षामापदण्डानां श्रृङ्खलायाः माध्यमेन स्थापितं यत् मॉडलतः सम्भाव्यदुराचारस्य अथवा पूर्वाग्रहस्य आकलनाय डिजाइनं कृतम् आसीत् एतेषां परीक्षणानां माध्यमेन विकासदलः सम्भाव्यजोखिमानां पहिचानं न्यूनीकरणं च कर्तुं समर्थः भवति, येन आदर्शः सार्वजनिकप्रयोगाय सुरक्षितः इति सुनिश्चितं करोति ।

स्वचालितसुरक्षामापदण्डस्य अतिरिक्तं RecurrentGemma-2B इत्यनेन स्वतन्त्रदलेन नैतिकतासुरक्षामूल्यांकनं कृतम् । अस्मिन् प्रक्रियायां प्रतिरूपस्य व्यापकसमीक्षा भवति, यत्र विशिष्टसमूहानां प्रति तस्य न्याय्यता, हानिकारकनिर्गमानाम् परिहारस्य क्षमता, उपयोक्तृगोपनीयतायाः रक्षणं च अन्तर्भवति, परन्तु एतेषु एव सीमितं न भवति

कठोरपरीक्षणस्य मूल्याङ्कनस्य च अभावेऽपि विकासदलः एतत् बोधयति यत् सर्वेषां सम्भाव्यप्रयोगप्रकरणानाम् आच्छादनं असम्भवम् अस्ति, एतत् विचार्य यत् RecurrentGemma-2B अनेकविभिन्नपरिदृश्येषु प्रयुक्तः भवितुम् अर्हति अतः ते अनुशंसन्ति यत् सर्वे उपयोक्तारः मॉडल्-नियोजनात् पूर्वं स्वस्य विशिष्ट-उपयोग-प्रकरणानाम् आधारेण अतिरिक्त-सुरक्षा-परीक्षणं कुर्वन्तु । एषा अनुशंसः प्रत्येकं परिनियोजनं सुविचारितं अनुकूलितं च इति सुनिश्चित्य उपयोक्तृदायित्वस्य उपरि बलं प्रतिबिम्बयति ।

उत्तरदायी परिनियोजने आदर्शप्रदर्शनस्य सीमानां च विषये पारदर्शिता अपि अन्तर्भवति । विकासदलः विस्तृतं आदर्शवास्तुकला प्रशिक्षणविवरणं च प्रदाति येन उपयोक्तारः शोधकर्तृश्च प्रतिरूपं कथं कार्यं करोति सम्भाव्यसीमानि च अवगन्तुं समर्थाः भवन्ति। तदतिरिक्तं, उदयमानजोखिमान् चुनौतीं च सम्बोधयितुं प्रतिरूपस्य निरन्तरनिरीक्षणं सुधारणं च कर्तुं दलं प्रतिबद्धम् अस्ति।

उत्तरदायी परिनियोजने व्यापकेन एआइ समुदायेन सह बहुभिः हितधारकैः सह सहकार्यं अपि अन्तर्भवति । शोधपरिणामान् साझां कृत्वा, मुक्तचर्चासु संलग्नं कृत्वा, बाह्यप्रतिक्रियां स्वीकृत्य, RecurrentGemma इत्यस्य विकासदलः मुक्तविज्ञानस्य सहकार्यस्य च प्रतिबद्धतां प्रदर्शयति।

यथा यथा कृत्रिमबुद्धेः क्षेत्रस्य विस्तारः निरन्तरं भवति तथा तथा RecurrentGemma एकस्य आदर्शस्य कार्यं करोति यत् अभिनववास्तुनिर्माणसंकल्पनानां, कठोरप्रशिक्षणस्य, मूल्याङ्कनप्रक्रियाणां च संयोजनं करोति, भाषाबोधे, जनने च किं सम्भवति इति सीमां धक्कायितुं क्षमताम् प्रदर्शयति

पेपर लिङ्कः https://arxiv.org/abs/2404.07839