प्रौद्योगिकी साझेदारी

बृहत् मॉडल [Qwen2-7B स्थानीय परिनियोजन (WEB संस्करण)] (windows)

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

बृहत् मॉडल श्रृङ्खला लेख निर्देशिका

Qwen2-7B स्थानीयनियोजनम् (WEB संस्करणम्)

प्रस्तावना

बृहत् मॉडलः २०२४ तमस्य वर्षस्य प्रथमार्धस्य सशक्ततमः एआइ अस्ति, तथा च Qwen2 इति नवविमोचितं बृहत् मुक्तस्रोतप्रतिरूपं यत् चीनदेशे सर्वाधिकं सशक्तं इति दावान् क्रियते एषः बृहत् मॉडल् श्रृङ्खलायां प्रथमः लेखः अस्ति यत् एतत् शीघ्रं परिनियोजितुं तथा च द्रष्टुं शक्यते यत् यदि प्रभावः ठीकः अस्ति तर्हि स्वस्य GPTs सूक्ष्मरूपेण ट्यून कुर्वन्तु ।

1. Ollama डाउनलोड् कृत्वा इन्स्टॉल कुर्वन्तु

  1. प्रवेशआधिकारिक वेबसाइट
  2. Download इति क्लिक् कुर्वन्तु
  3. Windos इति चिनोतु, Download for Windows (Preview) इत्यत्र क्लिक् कुर्वन्तु, fq अत्र बहु ​​द्रुततरं भविष्यति
  4. पूर्वनिर्धारित स्थापना

2. Qwen2 डाउनलोड् कृत्वा इन्स्टॉल कुर्वन्तु

1. Qwen2 डाउनलोड् कुर्वन्तु

  1. आधिकारिकं पाठ्यक्रमं प्रविष्टं कुर्वन्तु: https://qwen.readthedocs.io/zh-cn/latest/getting_started/installation.html
  2. प्रथमं अधः Efficiency Evaluation इत्यत्र क्लिक् कृत्वा प्रत्येकेन मॉडलेन कब्जितं विडियो मेमोरी पश्यन्तु, तथा च यत् भवतः अनुकूलं भवति तत् चिनुत उदाहरणार्थं मम ग्राफिक्स् कार्ड् 4070 अस्ति तथा च 12G विडियो मेमोरी अस्ति। GPTQ-Int4 इत्यस्य निर्देशं ददातु।कृपया चित्रविवरणं योजयन्तु
  3. प्रवेशलिङ्क डाउनलोड करें
  4. भवन्तः भिन्नानि प्रत्ययाः पश्यन्ति, q” + भारानाम् संग्रहणार्थं प्रयुक्तानां अङ्कानां संख्या (सटीकता) + विशिष्टं रूपं, संख्या यावन्तः अधिका भवति तावत् उत्तमं प्रदर्शनं भवति
  5. संख्या यावन्तः अधिका भवति, तावत् अधिका सटीकता k सर्वेषु ध्यानं तथा फीड_फोरवर्ड टेन्सरेषु 2 अङ्कैः सटीकतायां सुधारं करोति, तथा च m ध्यानस्य आर्धेषु फीड_फोरवर्ड टेन्सरेषु च 2 अङ्कैः सटीकतासु सुधारं करोति।
  6. स्वस्य आवश्यकतानुसारं मॉडलं चिनुत अहं प्रत्यक्षतया अत्र Q8 चिनोमि।

2. क्वेन्2 चालयन्तु

  1. नूतनं पुटं रचयन्तु, तस्य आङ्ग्लनाम (qwen) दत्त्वा, qwen2-7b-instruct-q8_0.gguf इत्येतत् पुटे स्थानान्तरयन्तु ।
  2. फोल्डर् मध्ये Modelfile इति नूतनं सञ्चिकां रचयित्वा पूरयन्तु
FROM ./qwen2-7b-instruct-q8_0.gguf

  • 1
  1. ततः ollama इत्यस्य माध्यमेन Qwen2-7B मॉडल् निर्मातुं आदेशपङ्क्तौ उपयोगं कुर्वन्तु:
ollama create Qwen2-7B -f ./Modelfile

  • 1

यदि सफलता भासते सृष्टिः सफला इत्यर्थः ।

  1. धावतु, आदेशं प्रविशतु
ollama run Qwen2-7B

  • 1

यदा संवादपेटिका दृश्यते तदा भवान् गपशपं कर्तुं शक्नोति
कृपया चित्रविवरणं योजयन्तु

यदि भवान् द्रष्टुम् इच्छति यत् स्थानीयतया के के बृहत् मॉडल् उपलभ्यन्ते: ollama list
यदि भवान् एतत् मॉडलं विलोपयितुम् इच्छति: ollama rm xxx
यदि भवान् द्रष्टुम् इच्छति यत् के के बृहत् मॉडल् चालिताः आसन्: ollama ps

परन्तु DOS मध्ये गपशपः सर्वदा गतशताब्द्याः गपशपस्य समानं भवति, अतः GPT इत्यस्य भावः अन्वेष्टुं वयं जालपुटे तत् कार्यान्वितं करिष्यामः ।

3. नोड.जस

1.Node.js डाउनलोड् तथा संस्थापनम्

  1. प्रवेशनोड आधिकारिक वेबसाइटNode डाउनलोड् कृत्वा संस्थापयन्तु
  2. नोड् संस्करणस्य सत्यापनम् : १.
node -v

  • 1

यदि v20 अथवा ततः उपरि अस्ति तर्हि तस्य कोऽपि समस्या नास्ति

  1. अवाहरनollama-webui कोड
  2. ollama-webui पुटं प्रविश्य घरेलुदर्पणस्रोतं त्वरितरूपेण सेट् कुर्वन्तु:
npm config set registry http://mirrors.cloud.tencent.com/npm/

  • 1
  1. Node.js निर्भरताः संस्थापयन्तु:
npm install

  • 1

यदि त्रुटिसन्देशः लेखापरीक्षा आवश्यकी इति वदति तर्हि केवलम् अस्मिन् क्रमेण गच्छन्तु:

npm audit
npm audit fix

  • 1
  • 2
  1. जाल-अन्तरफलकं आरभत : १.
npm run dev

  • 1

उद्घाटितजालपुटम्, वार्तालापं आरभ्य स्वस्य मॉडलं चिनोतु:
कृपया चित्रविवरणं योजयन्तु

व्यक्तिगत प्रोफाइल

सः ३० वर्षाणाम् अधिकं कालात् प्रौद्योगिक्याः शोधकार्यं कर्तुं समर्पितः अस्ति, तथा च जावा, लिनक्स, जावास्क्रिप्ट्, php, css इत्यादिषु विविधभाषासु प्रवीणः अस्ति, मुक्तस्रोतक्षेत्रे सः बहु योगदानं कृतवान् अस्ति विकासक दस्तावेजीकरणस्थानकं भविष्ये सन्दर्भार्थं प्रौद्योगिकीविकासे केचन विषयाः साझां कर्तुं सर्वे तत् पश्यन्तु

मम सम्पर्कसूचना

मेल