Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Suuri mallisarjan artikkelihakemisto

---

Qwen2-7B paikallinen käyttöönotto (WEB-versio)

Esipuhe

Suuri malli on vahvin tekoäly vuoden 2024 ensimmäisellä puoliskolla, ja Qwen2 on hiljattain julkaistu suuri avoimen lähdekoodin malli, jonka väitetään olevan Kiinan vahvin. Tämä on ensimmäinen artikkeli suuresta mallisarjasta. Se on suunniteltu ottamaan nopeasti käyttöön ja katsomaan, kuinka äskettäin julkaistut suuret mallit toimivat.

1. Lataa ja asenna Ollama

1. Tulla sisäänVirallinen nettisivu
2. Napsauta Lataa
3. Valitse Windos, napsauta Lataa Windowsille (esikatselu), fq on paljon nopeampi täällä
4. Oletusasennus

2. Lataa ja asenna Qwen2

1. Lataa Qwen2

1. Syötä virallinen opetusohjelma: https://qwen.readthedocs.io/zh-cn/latest/getting_started/installation.html
2. Napsauta ensin Tehokkuusarviointia alareunassa, katso kunkin mallin käyttämää videomuistia ja valitse sinulle sopiva. Esimerkiksi näytönohjain on 4070 ja siinä on 12G videomuisti. Ohjeita GPTQ-Int4.
3. Tulla sisäänLataa linkki
4. Näet erilaisia ​​jälkiliitteitä, q” + painojen tallentamiseen käytettyjen numeroiden määrä (tarkkuus) + tietty variantti, mitä suurempi numero, sitä parempi suorituskyky.
5. Mitä suurempi luku, sitä suurempi tarkkuus k parantaa tarkkuutta 2 numerolla kaikissa huomio- ja feed_forward-tensoreissa, ja m parantaa tarkkuutta 2 numerolla puolessa huomio- ja feed_forward-tensoreista.
6. Valitse malli omien tarpeidesi mukaan. Valitsin suoraan Q8:n tästä.

2. Suorita Qwen2

1. Luo uusi kansio, anna sille englanninkielinen nimi (qwen) ja siirrä qwen2-7b-instruct-q8_0.gguf kansioon.
2. Luo kansioon uusi tiedosto nimeltä Modelfile ja täytä se

FROM ./qwen2-7b-instruct-q8_0.gguf
1

3. Luo sitten Qwen2-7B-malli komentorivillä ollaman kautta:

ollama create Qwen2-7B -f ./Modelfile
1

Jos menestys näkyy, se tarkoittaa, että luominen on onnistunut.

4. Suorita, anna komento

ollama run Qwen2-7B
1

Kun valintaikkuna tulee näkyviin, voit keskustella

Jos haluat nähdä mitä isoja malleja on saatavilla paikallisesti: ollama lista
Jos haluat poistaa tämän mallin: ollama rm xxx
Jos haluat nähdä mitä suuria malleja ajettiin: ollama ps

Mutta DOS-keskustelu tuntuu aina samalta kuin viime vuosisadalla, joten GPT:n tunteen löytämiseksi jatkamme sen toteuttamista verkossa.

3. Node.js

1.Node.js lataus ja asennus

1. Tulla sisäänNode virallinen verkkosivustoLataa Node ja asenna se
2. Tarkista solmun versio:

node -v
1

Ei ole ongelma, jos se on v20 tai uudempi

1. ladataollama-webui koodi
2. Siirry ollama-webui-kansioon ja aseta kotimainen peililähde nopeuttamaan:

npm config set registry http://mirrors.cloud.tencent.com/npm/
1

3. Asenna Node.js-riippuvuudet:

npm install
1

Jos virhesanoma sanoo, että tarkastus vaaditaan, jatka tässä järjestyksessä:

npm audit
npm audit fix
1
2

4. Käynnistä verkkokäyttöliittymä:

npm run dev
1

AvataNettisivu, aloita keskustelu valitsemalla mallisi: