Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Κατάλογος άρθρων σειρών μεγάλων μοντέλων

---

Τοπική ανάπτυξη Qwen2-7B (έκδοση WEB)

Πρόλογος

Το μεγάλο μοντέλο είναι το ισχυρότερο AI από το πρώτο εξάμηνο του 2024 και το Qwen2 είναι ένα νέο μοντέλο μεγάλου ανοιχτού κώδικα που κυκλοφόρησε πρόσφατα, το οποίο υποστηρίζεται ότι είναι το ισχυρότερο στην Κίνα. Αυτό είναι το πρώτο άρθρο στη σειρά μεγάλων μοντέλων. Έχει σχεδιαστεί για να αναπτύσσει γρήγορα και να βλέπει πώς αποδίδουν τα μεγάλα μοντέλα που κυκλοφόρησαν πρόσφατα, ρυθμίστε τα δικά σας GPT.

1. Κατεβάστε και εγκαταστήστε το Olama

1. ΕισαγωΕπίσημη ιστοσελίδα
2. Κάντε κλικ στην επιλογή Λήψη
3. Επιλέξτε Windos, κάντε κλικ στην επιλογή Λήψη για Windows (Προεπισκόπηση), το fq θα είναι πολύ πιο γρήγορο εδώ
4. Προεπιλεγμένη εγκατάσταση

2. Κατεβάστε και εγκαταστήστε το Qwen2

1. Κατεβάστε το Qwen2

1. Εισαγάγετε τον επίσημο οδηγό: https://qwen.readthedocs.io/zh-cn/latest/getting_started/installation.html
2. Πρώτα κάντε κλικ στο Efficiency Evaluation στο κάτω μέρος, δείτε τη μνήμη βίντεο που καταλαμβάνει κάθε μοντέλο και επιλέξτε αυτό που σας ταιριάζει. Για παράδειγμα, η κάρτα γραφικών μου είναι 4070 και έχει μνήμη βίντεο 12G. Εντολή GPTQ-Int4.
3. ΕισαγωΣύνδεσμος λήψης
4. Θα δείτε διαφορετικά επιθήματα, q” + τον αριθμό των ψηφίων που χρησιμοποιούνται για την αποθήκευση των βαρών (ακρίβεια) + τη συγκεκριμένη παραλλαγή, όσο μεγαλύτερος είναι ο αριθμός τόσο καλύτερη είναι η απόδοση.
5. Όσο μεγαλύτερος είναι ο αριθμός, τόσο μεγαλύτερη η ακρίβεια k βελτιώνει την ακρίβεια κατά 2 ψηφία σε όλους τους τανυστές προσοχής και τροφοδοσίας, και το m βελτιώνει την ακρίβεια κατά 2 ψηφία στο μισό των τανυστών προσοχής και τροφοδοσίας.
6. Επιλέξτε ένα μοντέλο σύμφωνα με τις δικές σας ανάγκες Επέλεξα απευθείας το Q8 εδώ.

2. Εκτελέστε το Qwen2

1. Δημιουργήστε έναν νέο φάκελο, δώστε του ένα αγγλικό όνομα (qwen) και μετακινήστε το qwen2-7b-instruct-q8_0.gguf στον φάκελο.
2. Δημιουργήστε ένα νέο αρχείο με το όνομα Modelfile στον φάκελο και συμπληρώστε το

FROM ./qwen2-7b-instruct-q8_0.gguf
1

3. Στη συνέχεια, χρησιμοποιήστε τη γραμμή εντολών για να δημιουργήσετε το μοντέλο Qwen2-7B μέσω του olama:

ollama create Qwen2-7B -f ./Modelfile
1

Εάν εμφανιστεί επιτυχία, σημαίνει ότι η δημιουργία είναι επιτυχής.

4. Εκτέλεση, πληκτρολογήστε την εντολή

ollama run Qwen2-7B
1

Όταν εμφανιστεί ένα πλαίσιο διαλόγου, μπορείτε να συνομιλήσετε

Αν θέλετε να δείτε ποια μεγάλα μοντέλα είναι διαθέσιμα τοπικά: λίστα olama
Εάν θέλετε να διαγράψετε αυτό το μοντέλο: olama rm xxx
Αν θέλετε να δείτε ποια μεγάλα μοντέλα εκτελέστηκαν: olama ps

Αλλά η συνομιλία στο DOS έχει πάντα την ίδια αίσθηση με τη συνομιλία τον περασμένο αιώνα, οπότε για να βρούμε την αίσθηση του GPT, θα συνεχίσουμε να την εφαρμόζουμε στον ιστό.

3. Node.js

Λήψη και εγκατάσταση 1.Node.js

1. ΕισαγωΕπίσημος ιστότοπος NodeΚατεβάστε το Node και εγκαταστήστε το
2. Επαλήθευση έκδοσης κόμβου:

node -v
1

Δεν υπάρχει πρόβλημα αν είναι v20 ή παραπάνω

1. Κατεβάστεκώδικας ollama-webui
2. Εισαγάγετε το φάκελο ollama-webui και ρυθμίστε την πηγή οικιακού καθρέφτη να επιταχύνει:

npm config set registry http://mirrors.cloud.tencent.com/npm/
1

3. Εγκαταστήστε τις εξαρτήσεις Node.js:

npm install
1

Εάν το μήνυμα σφάλματος λέει ότι απαιτείται έλεγχος, απλώς προχωρήστε με αυτήν τη σειρά:

npm audit
npm audit fix
1
2

4. Ξεκινήστε τη διεπαφή ιστού:

npm run dev
1

Ανοιξειστοσελίδα, επιλέξτε το μοντέλο σας για να ξεκινήσετε τη συνομιλία: