प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

प्रश्नार्थः १.

FastAPI, Llama.cpp तथा Langchain इत्येतयोः उपयोगेन स्थानीयबृहत्भाषाप्रतिमानानाम् स्ट्रीमिंग्

समस्या पृष्ठभूमिः १.

मया Llama.cpp तथा Langchain इत्यनेन सह FastAPI सेटअप कृतम् अस्ति । इदानीं अहं FastAPI प्रतिक्रियासु स्ट्रीमिंग् सक्षमं कर्तुम् इच्छामि । स्ट्रीमिंग् मम टर्मिनल् मध्ये Llama.cpp इत्यनेन सह कार्यं करोति, परन्तु अहं FastAPI प्रतिक्रियायाः सह तत् कार्यान्वितुं न शक्तवान् ।

मया Llama.cpp तथा Langchain इत्येतयोः उपयोगेन FastAPI स्थापितं । इदानीं अहं FastAPI प्रतिक्रियायां स्ट्रीमिंग् सक्षमं कर्तुम् इच्छामि । मम टर्मिनल् मध्ये Llama.cpp इत्यनेन सह स्ट्रीमिंग् सम्यक् कार्यं करोति, परन्तु FastAPI प्रतिक्रियायाः सह कार्यं कर्तुं न शक्नोमि ।

अधिकांशः पाठ्यक्रमः OpenAI मॉडल् इत्यनेन सह स्ट्रीमिंग् सक्षमीकरणे केन्द्रितः आसीत्, परन्तु अहं llama.cpp इत्यनेन सह स्थानीयं LLM (quantized Mistral) इत्यस्य उपयोगं करोमि । अहं मन्ये मया Callbackhandler परिवर्तनीयम्, परन्तु कोऽपि पाठ्यक्रमः कार्यं न कृतवान् । अत्र मम कोडः अस्ति :

अधिकांशः पाठ्यक्रमः OpenAI मॉडल् इत्यस्य उपयोगेन स्ट्रीमिंग् कथं सक्षमः कर्तव्यः इति विषये केन्द्रितः अस्ति, परन्तु अहं llama.cpp इत्यनेन सह देशी बृहत् भाषा मॉडल् (quantized Mistral) इत्यस्य उपयोगं करोमि । अहं मन्ये मया Callbackhandler परिवर्तनं करणीयम् किन्तु मया किमपि पाठ्यक्रमं न प्राप्तम् यत् कार्यं करोति। अधः मम कोडः अस्ति :

from fastapi import FastAPI, Request, Response
from langchain_community.llms import LlamaCpp
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
import copy
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
 
model_path = "../modelle/mixtral-8x7b-instruct-v0.1.Q5_K_M.gguf"
 
prompt= """

                                   

                    上一篇
                    下一篇