Обмен технологиями

65. Обзор соединителей DataStream от Flink.

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1) Обзор
1. Предопределенный источник и приемник

Предопределенные источники данных поддерживают чтение данных из файлов, каталогов, сокетов, а также коллекций и итераторов.

Предопределенные приемники данных поддерживают запись данных в файлы, стандартный вывод (stdout), стандартный вывод ошибок (stderr) и сокеты.

2. Разъем в комплекте

Коннектор может взаимодействовать с множеством сторонних систем и в настоящее время поддерживает следующие системы.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
3. Коннекторы в Apache Bahir

Flink также имеет дополнительные соединители, распространяемые через Apache Bahir, в том числе:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
  • 1
  • 2
  • 3
  • 4
  • 5
4. Другие способы подключения к Flink
а) Асинхронный ввод-вывод

Использование коннекторов — не единственный способ получить данные в Flink или из него.

Вы можете запросить данные из внешней базы данных или веб-службы, чтобы получить исходный поток данных, а затем передать Map илиFlatMap Для первоначальной обработки потока данных Flink предоставляет API асинхронного ввода-вывода, чтобы сделать этот процесс более простым, эффективным и стабильным.