Compartir tecnología

Campo de pruebas: realice experimentos RAG en minutos utilizando Bedrock Anthropic Models y Elasticsearch

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor: de ElásticoJoe McElroy, Aditya Tripathi

Recientemente lanzamos Elasticsearch Playground, una nueva interfaz de código bajo que permite a los desarrolladores iterar y crear aplicaciones RAG de producción a través de pruebas A/B LLM, indicaciones de ajuste y fragmentación de datos. Hoy anunciamos el soporte de Amazon Bedrock para Playground, brindándole opciones de modelos aún más básicos de Amazon, Anthropic y otros proveedores líderes. Los desarrolladores que utilizan Amazon Bedrock y Elasticsearch ahora pueden optimizar la recuperación de respuestas utilizando datos privados o propietarios (indexados en uno o más índices de Elasticsearch).

Utilice Amazon Bedrock para inferencias, pruebas A/B de LLM y recuperación

La interfaz Playground le permite experimentar y probar A/B diferentes LLM de proveedores de modelos líderes como Amazon y Anthropic. Sin embargo, elegir un modelo es sólo una parte del problema. Los desarrolladores también deben considerar cómo recuperar resultados de búsqueda relevantes para que coincidan estrechamente con el tamaño de la ventana de contexto del modelo (es decir, la cantidad de tokens que el modelo puede manejar). La recuperación de pasajes de texto que son más largos que la ventana de contexto puede provocar el truncamiento, lo que resulta en pérdida de información. Es posible que el texto más pequeño que la ventana contextual no se incruste correctamente, lo que provocará una representación inexacta. La siguiente complejidad puede surgir de tener que combinar recuperaciones de diferentes fuentes de datos.

Playground combina muchas funciones de Elasticsearch en una interfaz simple pero potente para adaptar los flujos de trabajo de RAG:

  • Utilice una lista cada vez mayor de fuentes modelo, incluido Amazon Bedrock, para elegir el LLM que mejor se adapte a sus necesidades.
  • usar texto semántico, ajuste la estrategia de fragmentación para que se ajuste a los datos y al tamaño de la ventana de contexto
  • usar perros perdigueros Agregar canalización de recuperación de varias etapas (incluido el reordenamiento)

Después de ajustar el contexto enviado al modelo a los estándares de producción deseados, puede exportar el código y completar su aplicación utilizando el cliente de lenguaje Python Elasticsearch o la integración LangChain Python.

Se aprueba el anuncio de hoy. API de inferencia abierta La integración proporciona acceso a modelos alojados en Amazon Bedrock, además de utilizar el nuevotexto semántico Capacidades de tipo de campo. ¡Realmente esperamos que disfrutes de esta experiencia!

Playground toma todos estos elementos componibles y le ofrece un verdadero conjunto de herramientas de desarrollador para una iteración y desarrollo rápidos a la velocidad que exigen los desarrolladores.

Utilice el patio de recreo

En Kibana (UI de Elasticsearch), navegue hasta "Patio de juegosPrimero, debe conectarse a un proveedor de modelos que ofrezca el LLM de su elección. Playground completa el modelo a través del chat de soporte de Amazon Bedrock (por ejemplo, Anthropic).

Este blog proporciona pasos e instrucciones detallados para conectar y configurar la experiencia Playground.

Después de conectarse a LLM y seleccionar un índice de Elasticsearch, puede comenzar a hacer preguntas sobre la información del índice. LLM proporcionará respuestas basadas en el contexto de sus datos.

Conecte índices seleccionados de LLM y Elasticsearch con información de propiedad privada
Chatea instantáneamente con tus datos y evalúa la respuesta de un modelo (como Anthropic Claude 3 Haiku en este caso)

Revisar y personalizar consultas de texto y de recuperación para índices que almacenan incrustaciones de vectores.

Obtenga el mejor contexto utilizando recuperadores y búsquedas híbridas

Elásticobúsqueda híbrida Le ayuda a crear la mejor ventana contextual. Las ventanas de contexto efectivas se crean a partir de varios tipos de datos de texto sin formato y vectorizados, que se pueden distribuir en múltiples índices.Los desarrolladores ahora pueden aprovechar el nuevorecuperadores de consultas para simplificar la creación de consultas. A partir de la versión 8.14, Elastic CloudSin servidor Se proporcionan tres nuevos recuperadores que se pueden utilizar con una sola consulta unificada.FRR Búsqueda híbrida normalizada. Puede almacenar datos vectorizados y utilizar recuperadores kNN, o agregar metadatos y contexto para crear consultas de búsqueda híbridas.Próximamente también podrás agregarReclasificación semánticapara mejorar aún más los resultados de búsqueda.

Utilice Playground para ofrecer rápidamente búsquedas conversacionales

Crear una experiencia de búsqueda conversacional puede implicar múltiples enfoques y las opciones pueden ser abrumadoras, especialmente dada la velocidad con la que se están inventando nuevas tecnologías de reclasificación y recuperación, las cuales son adecuadas para aplicaciones RAG.

Con nuestro Playground, estas opciones son simples e intuitivas, aunque los desarrolladores tienen acceso a múltiples funciones. Nuestro enfoque único es aprovechar de inmediato la búsqueda híbrida como pilar principal, comprender intuitivamente la forma de los datos seleccionados y fragmentados y ampliar el acceso a múltiples proveedores externos de LLM.

A principios de este año, Elastic adquirió AWS Premio a la capacidad de IA generativa , este honor se otorga a un número muy pequeño de socios de AWS que brindan herramientas de IA generativa diferenciadas. El enfoque de Elastic para agregar soporte Bedrock a la experiencia Playground sigue el mismo principio: brindar capacidades nuevas e innovadoras a los desarrolladores de Elastic Cloud en AWS.

Construye, prueba y diviértete con Playground

Ve ahora Documentación del patio de juegos ¡Empieza a usar!explorarGitHub Continúe con Search Labs para conocer nuevas guías e integraciones de proveedores como Cohere, Anthropic, Azure OpenAI y más.

¿Listo para probarlo tú mismo?comenzarPrueba gratis
¿Quieres obtener la certificación Elastic?Entérate del próximo númeroFormación de ingenieros de Elasticsearch¡Cuándo empezar!

original:Playground: Experimente con RAG usando modelos antrópicos de Bedrock y Elasticsearch en minutos — Elastic Search Labs