기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. 개요

1. 사전 정의된 소스 및 싱크

사전 정의된 데이터 소스는 파일, 디렉터리, 소켓은 물론 컬렉션과 반복기의 데이터 읽기를 지원합니다.

사전 정의된 데이터 싱크는 파일, 표준 출력(stdout), 표준 오류 출력(stderr) 및 소켓에 데이터 쓰기를 지원합니다.

2. 커넥터 포함

커넥터는 다양한 타사 시스템과 상호 작용할 수 있으며 현재 다음 시스템을 지원합니다.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3. Apache Bahir의 커넥터

Flink에는 다음을 포함하여 Apache Bahir를 통해 배포되는 추가 커넥터도 있습니다.

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
1
2
3
4
5

4. Flink에 연결하는 다른 방법

a) 비동기 I/O

커넥터를 사용하는 것이 Flink 안팎으로 데이터를 가져오는 유일한 방법은 아닙니다.

외부 데이터베이스나 웹 서비스에서 데이터를 쿼리하여 초기 데이터 스트림을 얻은 다음 전달할 수 있습니다. Map 또는FlatMap 초기 데이터 스트림 처리를 위해 Flink는 비동기 I/O API를 제공하여 이 프로세스를 더 간단하고 효율적이며 안정적으로 만듭니다.