Berbagi teknologi

65. Ikhtisar Konektor DataStream Flink

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1) Ikhtisar
1. Sumber dan Sink yang Telah Ditentukan Sebelumnya

Sumber data yang telah ditentukan sebelumnya mendukung pembacaan data dari file, direktori, soket, serta koleksi dan iterator.

Data sink yang telah ditentukan sebelumnya mendukung penulisan data ke file, output standar (stdout), output kesalahan standar (stderr), dan soket.

2. Konektor disertakan

Konektor dapat berinteraksi dengan berbagai sistem pihak ketiga, dan saat ini mendukung sistem berikut.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
3. Konektor di Apache Bahir

Flink juga memiliki konektor tambahan yang didistribusikan melalui Apache Bahir, antara lain:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
  • 1
  • 2
  • 3
  • 4
  • 5
4. Cara lain untuk terhubung ke Flink
a) I/O asinkron

Menggunakan konektor bukan satu-satunya cara untuk memasukkan atau mengeluarkan data dari Flink.

Anda bisa menanyakan data dari database eksternal atau layanan Web untuk mendapatkan aliran data awal, lalu meneruskannya Map atauFlatMap Untuk pemrosesan aliran data awal, Flink menyediakan API I/O asinkron untuk menjadikan proses ini lebih sederhana, lebih efisien, dan lebih stabil.