Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Σημασία ερώτησης:

Ροή μοντέλων τοπικών μεγάλων γλωσσών χρησιμοποιώντας FastAPI, Llama.cpp και Langchain

Ιστορικό προβλήματος:

Έχω ρυθμίσει το FastAPI με το Llama.cpp και το Langchain. Τώρα θέλω να ενεργοποιήσω τη ροή στις απαντήσεις FastAPI. Η ροή λειτουργεί με το Llama.cpp στο τερματικό μου, αλλά δεν μπόρεσα να το εφαρμόσω με μια απόκριση FastAPI.

Έχω ρυθμίσει το FastAPI χρησιμοποιώντας το Llama.cpp και το Langchain. Τώρα θέλω να ενεργοποιήσω τη ροή στην απόκριση FastAPI. Στο τερματικό μου, η ροή λειτουργεί καλά με το Llama.cpp, αλλά δεν μπορώ να το κάνω να λειτουργήσει με την απόκριση FastAPI.

Τα περισσότερα σεμινάρια επικεντρώθηκαν στην ενεργοποίηση ροής με ένα μοντέλο OpenAI, αλλά χρησιμοποιώ ένα τοπικό LLM (quantized Mistral) με το llama.cpp. Νομίζω ότι πρέπει να τροποποιήσω το Callbackhandler, αλλά κανένα σεμινάριο δεν λειτούργησε. Εδώ είναι ο κωδικός μου:

Τα περισσότερα μαθήματα επικεντρώνονται στον τρόπο ενεργοποίησης της ροής χρησιμοποιώντας μοντέλα OpenAI, αλλά χρησιμοποιώ ένα μοντέλο εγγενούς μεγάλης γλώσσας (quantized Mistral) με το llama.cpp. Νομίζω ότι πρέπει να τροποποιήσω το Callbackhandler, αλλά δεν βρήκα κανένα σεμινάριο που να λειτουργεί. Παρακάτω είναι ο κωδικός μου:

from fastapi import FastAPI, Request, Response
from langchain_community.llms import LlamaCpp
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
import copy
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
 
model_path = "../modelle/mixtral-8x7b-instruct-v0.1.Q5_K_M.gguf"
 
prompt= """

                                   

                    上一篇
                    下一篇