Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Direktori artikel seri model besar

---

Penerapan lokal Qwen2-7B (versi WEB)

Kata pengantar

Model besar adalah AI terkuat pada paruh pertama tahun 2024, dan Qwen2 adalah model open source besar yang baru dirilis yang diklaim sebagai yang terkuat di Tiongkok. Ini adalah artikel pertama dalam seri model besar. Artikel ini dirancang untuk menerapkan dengan cepat dan melihat kinerja model besar yang baru dirilis. Jika efeknya oke, sesuaikan GPT Anda sendiri.

1. Unduh dan instal Ollama

1. MemasukiSitus web resmi
2. Klik Unduh
3. Pilih Windos, klik Download for Windows (Preview), fq akan jauh lebih cepat di sini
4. Instalasi bawaan

2. Unduh dan instal Qwen2

1. Unduh Qwen2

1. Masuk ke tutorial resmi: https://qwen.readthedocs.io/zh-cn/latest/getting_started/installation.html
2. Klik pertama pada Evaluasi Efisiensi di bagian bawah, lihat memori video yang digunakan oleh masing-masing model, dan pilih salah satu yang cocok untuk Anda. Misalnya, kartu grafis saya 4070 dan memiliki memori video 12G. Model yang saya pilih adalah Qwen2-7B-. Instruksikan GPTQ-Int4.
3. MemasukiTautan unduhan
4. Anda akan melihat sufiks yang berbeda, q” + jumlah digit yang digunakan untuk menyimpan bobot (presisi) + varian spesifik, semakin tinggi angkanya semakin baik performanya.
5. Semakin besar angkanya, semakin tinggi akurasinya. k meningkatkan akurasi sebesar 2 digit pada semua tensor perhatian dan feed_forward, dan m meningkatkan akurasi sebesar 2 digit pada separuh tensor perhatian dan feed_forward.
6. Pilih model sesuai kebutuhan Anda sendiri. Saya langsung memilih Q8 di sini.

2. Jalankan Qwen2

1. Buat folder baru, beri nama bahasa Inggris (qwen), dan pindahkan qwen2-7b-instruct-q8_0.gguf ke dalam folder tersebut.
2. Buat file baru bernama Modelfile di folder dan isi

FROM ./qwen2-7b-instruct-q8_0.gguf
1

3. Kemudian gunakan baris perintah untuk membuat model Qwen2-7B melalui ollama:

ollama create Qwen2-7B -f ./Modelfile
1

Jika muncul kesuksesan berarti penciptaan berhasil.

4. Jalankan, masukkan perintah

ollama run Qwen2-7B
1

Ketika kotak dialog muncul, Anda dapat mengobrol

Jika Anda ingin melihat model besar apa yang tersedia secara lokal: daftar ollama
Jika Anda ingin menghapus model ini: ollama rm xxx
Jika Anda ingin melihat model besar mana yang dijalankan: ollama ps

Namun ngobrol di DOS selalu terasa sama dengan ngobrol di abad lalu, jadi untuk merasakan sensasi GPT, kami akan terus menerapkannya di web.

3. Node.js

1.Pengunduhan dan instalasi Node.js

1. MemasukiSitus web resmi simpulUnduh Node dan instal
2. Verifikasi versi simpul:

node -v
1

Tidak masalah jika versinya v20 atau lebih tinggi

1. unduhkode ollama-webui
2. Masuk ke folder ollama-webui dan atur sumber mirror domestik untuk mempercepat:

npm config set registry http://mirrors.cloud.tencent.com/npm/
1

3. Instal dependensi Node.js:

npm install
1

Jika pesan kesalahan menyatakan bahwa audit diperlukan, lanjutkan saja dengan urutan ini:

npm audit
npm audit fix
1
2

4. Mulai antarmuka web:

npm run dev
1

Membukahalaman web, pilih model Anda untuk memulai percakapan: