प्रौद्योगिकी साझेदारी

प्रमाणीकरणभूमिः : Bedrock Anthropic Models तथा Elasticsearch इत्येतयोः उपयोगेन निमेषेषु RAG प्रयोगान् कुर्वन्तु

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

लेखकः इलास्टिकतःजो मेक्एलरोयः, आदित्य त्रिपाठी

वयं सद्यः एव Elasticsearch Playground इति नूतनं न्यून-कोड्-अन्तरफलकं विमोचितवन्तः यत् विकासकान् A/B परीक्षण LLM, ट्यूनिङ्ग-प्रोम्प्ट्, तथा च चङ्किंग्-दत्तांशस्य माध्यमेन उत्पादन-RAG-अनुप्रयोगानाम् पुनरावृत्तिं निर्मातुं च अनुमतिं ददाति अद्य वयं Playground कृते Amazon Bedrock समर्थनस्य घोषणां कुर्मः, Amazon, Anthropic, अन्येभ्यः प्रमुखप्रदातृभ्यः अपि अधिकानि मूलभूताः मॉडल् विकल्पाः भवद्भ्यः आनयामः। Amazon Bedrock तथा Elasticsearch इत्येतयोः उपयोगं कुर्वन्तः विकासकाः इदानीं निजी अथवा स्वामित्वदत्तांशस्य उपयोगेन उत्तराणां कृते पुनर्प्राप्तिं अनुकूलितुं शक्नुवन्ति (एकस्मिन् वा अधिकेषु Elasticsearch अनुक्रमणिकासु अनुक्रमितं)

अनुमानार्थं, LLM इत्यस्य A/B परीक्षणार्थं, पुनर्प्राप्त्यर्थं च Amazon Bedrock इत्यस्य उपयोगं कुर्वन्तु

Playground अन्तरफलकं भवन्तं Amazon तथा Anthropic इत्यादिभ्यः प्रमुखेभ्यः मॉडल् प्रदातृभ्यः भिन्नानां LLMs इत्यस्य प्रयोगं कर्तुं A/B परीक्षणं च कर्तुं शक्नोति । परन्तु आदर्शस्य चयनं समस्यायाः भागः एव । विकासकाः अपि विचारणीयाः यत् कथं प्रासंगिकं अन्वेषणपरिणामं पुनः प्राप्तव्यं यत् मॉडलस्य सन्दर्भविण्डो आकारस्य (अर्थात्, मॉडल् सम्भालितुं शक्नोति इति टोकनसङ्ख्या) निकटतया मेलनं भवति सन्दर्भविण्डोतः दीर्घतरं पाठखण्डं पुनः प्राप्त्वा च्छेदनं भवितुम् अर्हति, यस्य परिणामेण सूचनायाः हानिः भवितुम् अर्हति । सन्दर्भविण्डोतः लघुतरः पाठः सम्यक् न निहितः भवेत्, यस्य परिणामः अशुद्धप्रतिपादनं भवति । अग्रिमजटिलता भिन्नदत्तांशस्रोताभ्यां पुनर्प्राप्तीनां संयोजनेन आगन्तुं शक्नोति ।

क्रीडाङ्गणः RAG कार्यप्रवाहानाम् अनुकूलनार्थं सरलतया तथापि शक्तिशाली अन्तरफलके अनेकाः Elasticsearch विशेषताः संयोजयति:

  • अमेजन बेडरोक् सहितं आदर्शस्रोतानां वर्धमानसूचीं उपयुज्य भवतः आवश्यकतानां अनुकूलं LLM चयनं कुर्वन्तु
  • उपयुञ्जताम्‌ शब्दार्थ_पाठः, दत्तांशस्य सन्दर्भविण्डो आकारस्य च अनुकूलतायै चङ्किंग् रणनीतिं समायोजयन्तु
  • उपयुञ्जताम्‌ पुनर्प्राप्तिकर्तारः बहुचरणीयपुनर्प्राप्तिपाइपलाइनं योजयन्तु (पुनर्क्रमणं सहितम्)

मॉडल् प्रति प्रेषितं सन्दर्भं वांछित-उत्पादन-मानकेषु समायोजयित्वा, भवान् कोडं निर्यातयितुं शक्नोति तथा च Python Elasticsearch भाषा-क्लायन्ट् अथवा LangChain Python एकीकरणस्य उपयोगेन स्वस्य अनुप्रयोगं सम्पूर्णं कर्तुं शक्नोति

अद्यतनं घोषणं अनुमोदितम् अनुमान एपिआइ उद्घाटयन्तु एकीकरणेन अमेजन बेड्रोक् इत्यत्र होस्ट् कृतानां मॉडल्-पर्यन्तं प्रवेशः प्राप्यते, तथैव नूतनस्य उपयोगः अपि भवतिशब्दार्थ_पाठः क्षेत्रप्रकारक्षमता। वयं यथार्थतया आशास्महे यत् भवद्भ्यः एषः अनुभवः आनन्दः भविष्यति!

क्रीडाङ्गणम् एतान् सर्वान् रचनायोग्यतत्त्वान् गृह्णाति तथा च विकासकानां आग्रहेण द्रुतपुनरावृत्त्यर्थं विकासाय च सच्चा विकासकसाधनसमूहं भवद्भ्यः आनयति

क्रीडाङ्गणस्य उपयोगं कुर्वन्तु

किबाना (Elasticsearch UI) इत्यत्र "क्रीडाङ्गणम्”.

अयं ब्लोग् Playground अनुभवं संयोजयितुं विन्यस्तुं च विस्तृतपदार्थान् निर्देशान् च प्रददाति ।

LLM इत्यनेन सह सम्बद्धं कृत्वा Elasticsearch अनुक्रमणिकां चयनं कृत्वा, भवान् अनुक्रमणिकायां सूचनायाः विषये प्रश्नान् पृच्छितुं आरभुं शक्नोति । LLM भवतः दत्तांशस्य सन्दर्भस्य आधारेण उत्तराणि प्रदास्यति।

चयनित LLM तथा Elasticsearch अनुक्रमणिकां निजीस्वामित्वसूचनया सह संयोजयन्तु
तत्क्षणमेव स्वदत्तांशैः सह गपशपं कुर्वन्तु तथा च एकस्य मॉडलस्य प्रतिक्रियायाः मूल्याङ्कनं कुर्वन्तु (यथा अस्मिन् सन्दर्भे Anthropic Claude 3 Haiku)

सदिश एम्बेडिंग्स् संगृह्यमाणानां अनुक्रमणिकानां कृते पाठस्य पुनर्प्राप्तिप्रश्नानां च समीक्षां कृत्वा अनुकूलनं कुर्वन्तु

रिट्रीवर्स तथा हाइब्रिड् अन्वेषणस्य उपयोगेन उत्तमं सन्दर्भं प्राप्नुवन्तु

लोचनासंकर अन्वेषण उत्तमं सन्दर्भविण्डो निर्मातुं भवन्तं साहाय्यं करोति । प्रभावी सन्दर्भविण्डोः विविधप्रकारस्य सदिशीकृतसादापाठदत्तांशतः निर्मिताः भवन्ति, ये बहुषु अनुक्रमणिकासु वितरितुं शक्यन्ते ।इदानीं विकासकाः नूतनस्य लाभं ग्रहीतुं शक्नुवन्तिप्रश्न पुनर्प्राप्तकर्ता प्रश्ननिर्माणं सरलीकर्तुं। संस्करण 8.14, Elastic Cloud इत्यस्मात् आरभ्यसर्वररहितः त्रयः नूतनाः पुनः प्राप्तकर्तारः प्रदत्ताः सन्ति, तेषां उपयोगः केवलं एकेन एकीकृतप्रश्नेन सह कर्तुं शक्यतेआर आर एफ सामान्यीकृतं संकरसन्धानम्। भवान् सदिशीकृतदत्तांशं संग्रहीतुं शक्नोति तथा च kNN-पुनर्प्राप्ति-उपयोगं कर्तुं शक्नोति, अथवा संकर-अन्वेषण-प्रश्नानि निर्मातुं मेटाडाटा-सन्दर्भं च योजयितुं शक्नोति ।शीघ्रमेव, भवन्तः अपि योजयितुं शक्नुवन्तिशब्दार्थ पुनः श्रेणीअन्वेषणपरिणामेषु अधिकं सुधारं कर्तुं।

संभाषणात्मकं अन्वेषणं शीघ्रं प्रदातुं Playground इत्यस्य उपयोगं कुर्वन्तु

संभाषणात्मकसन्धान-अनुभवस्य निर्माणे बहुविध-दृष्टिकोणाः सम्मिलिताः भवितुम् अर्हन्ति, तथा च विकल्पाः अत्यधिकाः भवितुम् अर्हन्ति, विशेषतः नूतनानां पुनः-क्रमाङ्कन-पुनर्प्राप्ति-प्रौद्योगिकीनां आविष्कारस्य गतिं दृष्ट्वा, ययोः द्वयोः अपि RAG-अनुप्रयोगानाम् उपयुक्तम् अस्ति

अस्माकं क्रीडाङ्गणेन सह एते विकल्पाः सरलाः सहजज्ञानयुक्ताः च सन्ति, यद्यपि विकासकानां बहुविधविशेषतानां प्रवेशः अस्ति । अस्माकं अद्वितीयः दृष्टिकोणः अस्ति यत् तत्क्षणमेव मुख्यस्तम्भरूपेण संकरसन्धानस्य निर्माणं करणीयम्, चयनितस्य च खण्डितस्य च आँकडानां आकारं सहजतया अवगन्तुं, LLMs इत्यस्य बहुविधबाह्यप्रदातृणां प्रवेशस्य विस्तारः च भवति

अस्मिन् वर्षे प्रारम्भे इलास्टिक इत्यनेन एडब्ल्यूएस इत्यस्य अधिग्रहणं कृतम् जनरेटिव ए आई क्षमता पुरस्कार , एषः सम्मानः अत्यल्पसङ्ख्यायाः AWS भागिनानां कृते दीयते ये विभेदितजननात्मकानि AI साधनानि प्रदास्यन्ति । Playground अनुभवे Bedrock समर्थनं योजयितुं Elastic इत्यस्य दृष्टिकोणः अपि एतादृशमेव सिद्धान्तं अनुसरति - AWS विकासकेषु Elastic Cloud इत्यत्र नवीनं नवीनं च क्षमताम् आनयति।

Playground इत्यनेन सह निर्माणं, परीक्षणं, मज्जनं च कुर्वन्तु

इदानीं गच्छतु क्रीडाङ्गणस्य दस्तावेजीकरणं उपयोगं आरभत!अन्वेषणगित्हब Cohere, Anthropic, Azure OpenAI, इत्यादिभ्यः प्रदातृभ्यः नूतनानां प्लेबुकानां एकीकरणानां च विषये ज्ञातुं Labs इत्यत्र अन्वेषणं कुर्वन्तु ।

स्वयमेव तस्य प्रयोगं कर्तुं सज्जाः वा?प्रारंभःनिःशुल्क परीक्षण
Elastic प्रमाणितं प्राप्तुम् इच्छति वा?अग्रिमाङ्कस्य विषये ज्ञातव्यम्Elasticsearch अभियंता प्रशिक्षणकदा आरम्भः करणीयः !

मूल:क्रीडाङ्गणम् : Bedrock Anthropic Models तथा Elasticsearch इत्येतयोः उपयोगेन RAG इत्यनेन सह निमेषेषु प्रयोगः — Elastic Search Labs इति