Condivisione della tecnologia

Terreno di prova: conduci esperimenti RAG in pochi minuti utilizzando i modelli antropici Bedrock ed Elasticsearch

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autore: da ElasticJoe McElroy, Aditya Tripathi

Di recente abbiamo rilasciato Elasticsearch Playground, una nuova interfaccia low-code che consente agli sviluppatori di iterare e creare applicazioni RAG di produzione tramite test A/B LLM, prompt di ottimizzazione e suddivisione dei dati. Oggi annunciamo il supporto di Amazon Bedrock per Playground, offrendoti una scelta di modelli ancora più basilari da Amazon, Anthropic e altri fornitori leader. Gli sviluppatori che utilizzano Amazon Bedrock ed Elasticsearch possono ora ottimizzare il recupero delle risposte utilizzando dati privati ​​o proprietari (indicizzati in uno o più indici Elasticsearch).

Utilizza Amazon Bedrock per inferenza, test A/B di LLM e recupero

L'interfaccia Playground ti consente di sperimentare e testare A/B diversi LLM dei principali fornitori di modelli come Amazon e Anthropic. Tuttavia, la scelta del modello è solo una parte del problema. Gli sviluppatori devono anche considerare come recuperare risultati di ricerca pertinenti in modo che corrispondano il più possibile alla dimensione della finestra di contesto del modello (ovvero, il numero di token che il modello può gestire). Il recupero di passaggi di testo più lunghi della finestra di contesto potrebbe comportare il troncamento, con conseguente perdita di informazioni. Il testo più piccolo della finestra di contesto potrebbe non essere incorporato correttamente, con conseguente rappresentazione imprecisa. La complessità successiva potrebbe derivare dalla necessità di combinare i recuperi da diverse fonti di dati.

Playground combina molte funzionalità di Elasticsearch in un'interfaccia semplice ma potente per adattare i flussi di lavoro RAG:

  • Utilizza un elenco crescente di fonti di modelli, incluso Amazon Bedrock, per scegliere il LLM più adatto alle tue esigenze
  • utilizzo testo semantico, modificare la strategia di suddivisione in blocchi per adattarla ai dati e alle dimensioni della finestra di contesto
  • utilizzo Retriever Aggiungi pipeline di recupero in più fasi (incluso il riordino)

Dopo aver adattato il contesto inviato al modello agli standard di produzione desiderati, puoi esportare il codice e completare la tua applicazione utilizzando il client del linguaggio Python Elasticsearch o l'integrazione LangChain Python.

L'annuncio odierno è approvato API di inferenza aperta L'integrazione fornisce l'accesso ai modelli ospitati su Amazon Bedrock, oltre all'utilizzo del nuovotesto semantico Funzionalità del tipo di campo. Ci auguriamo davvero che questa esperienza ti piaccia!

Playground prende tutti questi elementi componibili e ti offre un vero set di strumenti per sviluppatori per un'iterazione e uno sviluppo rapidi alla velocità richiesta dagli sviluppatori.

Usa il parco giochi

In Kibana (interfaccia utente Elasticsearch), vai a "Terreno di gioco”. Innanzitutto, devi connetterti a un fornitore di modelli che offre il LLM di tua scelta tramite la chat di supporto di Amazon Bedrock (ad esempio Anthropic).

Questo blog fornisce passaggi dettagliati e istruzioni per la connessione e la configurazione dell'esperienza Playground.

Dopo esserti connesso a LLM e aver selezionato un indice Elasticsearch, puoi iniziare a porre domande sulle informazioni nell'indice. LLM fornirà risposte in base al contesto dei tuoi dati.

Connetti indici LLM ed Elasticsearch selezionati con informazioni proprietarie private
Chatta istantaneamente con i tuoi dati e valuta la risposta di un modello (come Anthropic Claude 3 Haiku in questo caso)

Esamina e personalizza le query di testo e di recupero per gli indici che memorizzano incorporamenti di vettori

Ottieni il contesto migliore utilizzando i retriever e le ricerche ibride

Elasticoricerca ibrida Ti aiuta a costruire la migliore finestra contestuale. Le finestre di contesto efficaci sono costruite da vari tipi di dati vettorizzati e di testo normale, che possono essere distribuiti su più indici.Gli sviluppatori possono ora trarre vantaggio dalla novitàrecuperatori di query per semplificare la creazione delle query. A partire dalla versione 8.14, Elastic CloudSenza server Vengono forniti tre nuovi retriever che possono essere utilizzati con una sola query unificataRRF Ricerca ibrida normalizzata. È possibile archiviare dati vettoriali e utilizzare retriever kNN oppure aggiungere metadati e contesto per creare query di ricerca ibride.Presto potrai anche aggiungereRiclassificazione semanticaper migliorare ulteriormente i risultati della ricerca.

Utilizza Playground per fornire rapidamente ricerche conversazionali

Costruire un'esperienza di ricerca conversazionale può comportare una varietà di approcci e le scelte possono essere travolgenti, soprattutto data la velocità con cui vengono inventate nuove tecnologie di riclassificazione e recupero, entrambe adatte per le applicazioni RAG.

Con il nostro Playground, queste scelte sono semplici e intuitive, anche se gli sviluppatori hanno accesso a molteplici funzionalità. Il nostro approccio unico consiste nel basarsi immediatamente sulla ricerca ibrida come pilastro principale, comprendere in modo intuitivo la forma dei dati selezionati e suddivisi in blocchi ed espandere l'accesso a più fornitori esterni di LLM.

All'inizio di quest'anno, Elastic ha acquisito AWS Premio per la capacità di intelligenza artificiale generativa , questo onore viene assegnato a un numero molto limitato di partner AWS che forniscono strumenti di intelligenza artificiale generativa differenziati. L'approccio di Elastic all'aggiunta del supporto Bedrock all'esperienza Playground segue lo stesso principio: offrire funzionalità nuove e innovative agli sviluppatori Elastic Cloud on AWS.

Costruisci, testa e divertiti con Playground

Vai, ora Documentazione del parco giochi inizia a usare!EsplorareGuida Cerca Labs su per scoprire nuovi playbook e integrazioni di provider come Cohere, Anthropic, Azure OpenAI e altri.

Pronto a provarlo tu stesso?inizioProva gratuita
Vuoi ottenere la certificazione Elastic?Scopri il prossimo numeroFormazione per ingegneri ElasticsearchQuando iniziare!

originale:Playground: sperimenta con RAG usando Bedrock Anthropic Models ed Elasticsearch in pochi minuti — Elastic Search Labs