Condivisione della tecnologia

65. Panoramica dei connettori DataStream di Flink

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Panoramica
1. Sorgente e sink predefiniti

Le origini dati predefinite supportano la lettura di dati da file, directory, socket, nonché raccolte e iteratori.

I sink di dati predefiniti supportano la scrittura di dati su file, output standard (stdout), output di errore standard (stderr) e socket.

2. Connettore incluso

Il connettore può interagire con una varietà di sistemi di terze parti e attualmente supporta i seguenti sistemi.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
3. Connettori in Apache Bahir

Flink dispone inoltre di connettori aggiuntivi distribuiti tramite Apache Bahir, tra cui:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
  • 1
  • 2
  • 3
  • 4
  • 5
4. Altri modi per connettersi a Flink
a) I/O asincroni

L'uso dei connettori non è l'unico modo per inserire o estrarre dati da Flink.

È possibile eseguire query sui dati da un database esterno o da un servizio Web per ottenere il flusso di dati iniziale e quindi trasmetterlo Map OFlatMap Per l'elaborazione iniziale del flusso di dati, Flink fornisce un'API I/O asincrona per rendere questo processo più semplice, più efficiente e più stabile.