Berbagi teknologi

Elasticsearch: Memperkenalkan retriever - Mencari segalanya

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Penulis: dari ElasticJeff Vestal, Jack Conradson

Di 8.14, Elastic memperkenalkan fitur pencarian baru yang disebut "retriever" di Elasticsearch. Baca terus untuk mengetahui tentang kesederhanaan dan efisiensinya, serta bagaimana keduanya dapat meningkatkan operasi pencarian Anda.

Retriever adalah lapisan abstraksi baru yang ditambahkan ke API pencarian di Elasticsearch. Mereka menyediakan fasilitas untuk mengonfigurasi jalur pengambilan multi-tahap dalam satu panggilan API _search. Arsitektur ini menyederhanakan logika pencarian dalam aplikasi Anda dengan menghilangkan kebutuhan beberapa panggilan API Elasticsearch untuk kueri pencarian yang kompleks. Hal ini juga mengurangi kebutuhan logika sisi klien, yang sering kali memerlukan penggabungan hasil dari beberapa kueri.

Tipe awal dari retriever

Tiga jenis retriever disertakan dalam rilis awal. Setiap retriever dirancang untuk tujuan tertentu, dan jika digabungkan, mereka dapat melakukan pencarian yang kompleks.

Tipe yang tersedia antara lain:

  • standar - Mengembalikan dokumen tingkat atas dalam kueri tradisional. Jenis ini kompatibel dengan mendukung sintaks permintaan DSL kueri yang ada, memungkinkan Anda bermigrasi ke kerangka perayap sesuai keinginan Anda.
  • kNN - Mengembalikan dokumen teratas dalam pencarian kNN.
  • RRF - Gunakan algoritma fusi timbal balik untuk menggabungkan dan memberi peringkat beberapa retriever tahap pertama ke dalam satu kumpulan hasil tanpa atau sedikit penyesuaian pengguna. Pengambil RRF adalah pengambil gabungan yang elemen filternya disebarkan ke pengambil turunannya.

Apa perbedaan antara retriever? Mengapa mereka berguna?

Untuk kueri tradisional, kueri tersebut adalah bagian dari keseluruhan panggilan API penelusuran. Perbedaan antara Retriever adalah bahwa mereka dirancang sebagai entitas independen yang dapat digunakan secara individual atau mudah digabungkan. Pendekatan modular ini memberikan fleksibilitas yang lebih besar ketika merancang strategi pencarian.

Retriever dirancang sebagai bagian dari "pohon retriever", sebuah struktur hierarki yang mendefinisikan operasi pencarian dengan memperjelas urutan dan logikanya. Struktur ini membuat penelusuran kompleks lebih mudah dikelola, lebih mudah dipahami oleh pengembang, dan memungkinkan fitur baru ditambahkan dengan mudah di masa mendatang.

Retriever mendukung komposisi, memungkinkan Anda membangun saluran dan mengintegrasikan strategi pengambilan yang berbeda. Hal ini memungkinkan pengujian kombinasi pengambilan yang berbeda dengan mudah. Mereka juga memberikan kontrol lebih besar terhadap cara dokumen dinilai dan disaring. Misalnya, Anda dapat menentukan ambang skor minimum, menerapkan filter kompleks tanpa memengaruhi skor, dan menggunakan parameter seperti penghentian_setelah untuk pengoptimalan kinerja.

Mempertahankan kompatibilitas dengan elemen kueri lama, secara otomatis mengubahnya menjadi pengambil yang sesuai.

Contoh penggunaan pengambilan

Mari kita lihat beberapa contoh penggunaan retriever. Kami menggunakan kumpulan data sampel IMDB.

Anda dapat menjalankan yang disertakan buku catatan jupyter, impor data IMDB ke proyek pencarian tanpa server Anda, dan jalankan sendiri contoh berikut!

Pengaturan tingkat tinggi adalah:

  • ikhtisar - ringkasan singkat film tersebut
  • nama - nama filmnya
  • ikhtisar_padat - padat_vektor dihasilkan dari model e5-kecil
  • ikhtisar_sparse - Vektor renggang menggunakan model ELSER Elastic.
  • Hanya menggunakan bidang dan pengaturan _source:false akan mengembalikan versi teks nama dan ikhtisar

Standar - Cari semua teks!

  1. GET /imdb_movies/_search?pretty
  2. {
  3.   "retriever": {
  4.     "standard": {
  5.       "query": {
  6.         "term": {
  7.           "overview": "clueless"
  8.         }
  9.       }
  10.     }
  11.   },
  12.   "size": 3,
  13.   "fields": [
  14.     "names",
  15.     "overview"
  16.   ],
  17.   "_source": false
  18. }

kNN - Cari semua vektor padat!

  1. GET /imdb_movies/_search?pretty
  2. {
  3.   "retriever": {
  4.     "knn": {
  5.       "field": "overview_dense",
  6.       "query_vector_builder": {
  7.         "text_embedding": {
  8.           "model_id": ".multilingual-e5-small_linux-x86_64",
  9.           "model_text": "clueless slackers"
  10.         }
  11.       },
  12.       "k": 5,
  13.       "num_candidates": 5
  14.     }
  15.   },
  16.   "size": 3,
  17.   "fields": [
  18.     "names",
  19.     "overview"
  20.   ],
  21.   "_source": false
  22. }

text_expansion - Cari semua vektor yang jarang!

  1. GET /imdb_movies/_search?pretty
  2. {
  3.   "retriever": {
  4.     "standard": {
  5.       "query": {
  6.         "text_expansion": {
  7.           "overview_sparse": {
  8.             "model_id": ".elser_model_2_linux-x86_64",
  9.             "model_text": "clueless slackers"
  10.           }
  11.         }
  12.       }
  13.     }
  14.   },
  15.   "size": 3,
  16.   "fields": [
  17.     "names",
  18.     "overview"
  19.   ],
  20.   "_source": false
  21. }

rrf - gabungkan semuanya!

  1. GET /imdb_movies/_search?pretty
  2. {
  3.   "retriever": {
  4.     "rrf": {
  5.       "retrievers": [
  6.         {
  7.           "standard": {
  8.             "query": {
  9.               "term": {
  10.                 "overview": "clueless slackers"
  11.               }
  12.             }
  13.           }
  14.         },
  15.         {
  16.           "knn": {
  17.             "field": "overview_dense",
  18.             "query_vector_builder": {
  19.               "text_embedding": {
  20.                 "model_id": ".multilingual-e5-small_linux-x86_64",
  21.                 "model_text": "clueless slackers"
  22.               }
  23.             },
  24.             "k": 5,
  25.             "num_candidates": 5
  26.           }
  27.         },
  28.         {
  29.           "standard": {
  30.             "query": {
  31.               "text_expansion": {
  32.                 "overview_sparse": {
  33.                   "model_id": ".elser_model_2_linux-x86_64",
  34.                   "model_text": "clueless slackers"
  35.                 }
  36.               }
  37.             }
  38.           }
  39.         }
  40.       ],
  41.       "rank_window_size": 5,
  42.       "rank_constant": 1
  43.     }
  44.   },
  45.   "size": 3,
  46.   "fields": [
  47.     "names",
  48.     "overview"
  49.   ],
  50.   "_source": false
  51. }

Batas retriever saat ini

Retriever hadir dengan batasan tertentu yang harus diwaspadai pengguna. Misalnya, penggunaan compound retriever hanya memperbolehkan elemen untuk ditanyakan. Hal ini memaksa pemisahan kekhawatiran yang lebih jelas dan mencegah kompleksitas yang timbul akibat konfigurasi yang berlebihan atau independen. Selain itu, pengambilan anak tidak boleh menggunakan elemen yang membatasi pengambilan gabungan sebagai bagian dari pohon pengambilan.

Pembatasan ini meningkatkan performa dan komposisi bahkan saat menggunakan strategi pengambilan yang rumit.

Retriever awalnya dirilis sebagai pratinjau teknologi, sehingga API-nya dapat berubah

Kesimpulannya

Pencari mewakili langkah maju yang penting dalam fungsionalitas pencarian Elasticsearch dan kemudahan penggunaan. Mereka dapat dirangkai dengan cara pipeline, dengan masing-masing retriever menerapkan logikanya dan meneruskan hasilnya ke item berikutnya dalam rantai. Retriever dapat meningkatkan pengalaman pencarian secara signifikan dengan memungkinkan operasi pencarian yang lebih terstruktur, fleksibel, dan efisien.

Sumber daya berikut memberikan detail lebih lanjut tentang retriever.

Coba sendiri kode di atas!Anda bisa larimenyertai buku catatan jupyter, impor data IMDB ke proyek Elastic Serverless Search!

Siap mencobanya sendiri?awalUji coba gratis。
Ingin mendapatkan sertifikasi Elastic?Cari tahu lain kaliPelatihan insinyur ElasticsearchKapan memulainya!

asli:Elasticsearch retriever - Cara menggunakan search retriever di Elasticsearch — Elastic Search Labs

Profil pribadi

Ia telah mengabdikan dirinya untuk meneliti teknologi selama lebih dari 30 tahun, dan mahir dalam berbagai bahasa seperti java, linux, javascript, php, css, dll. "Saya telah memberikan banyak kontribusi di bidang dokumentasi pengembang stasiun sumber terbuka untuk berbagi beberapa masalah dalam pengembangan teknologi untuk referensi di masa mendatang. Semua orang memeriksanya

informasi kontak saya

Surat