Compartir tecnología

65. Descripción general de los conectores DataStream de Flink

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Información general
1. Fuente y sumidero predefinidos

Las fuentes de datos predefinidas admiten la lectura de datos de archivos, directorios, sockets, así como colecciones e iteradores.

Los receptores de datos predefinidos admiten la escritura de datos en archivos, salida estándar (stdout), salida de error estándar (stderr) y sockets.

2. Conector incluido

El conector puede interactuar con una variedad de sistemas de terceros y actualmente admite los siguientes sistemas.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
3. Conectores en Apache Bahir

Flink también tiene conectores adicionales distribuidos a través de Apache Bahir, que incluyen:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
  • 1
  • 2
  • 3
  • 4
  • 5
4. Otras formas de conectarse a Flink
a) E/S asíncrona

El uso de conectores no es la única forma de introducir o sacar datos de Flink.

Puede consultar datos desde una base de datos externa o un servicio web para obtener el flujo de datos inicial y luego pasar Map oFlatMap Para el procesamiento inicial del flujo de datos, Flink proporciona una API de E/S asíncrona para hacer este proceso más simple, más eficiente y más estable.