Κοινή χρήση τεχνολογίας

65. Επισκόπηση των συνδετήρων DataStream του Flink

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1) Επισκόπηση
1. Προκαθορισμένη πηγή και νεροχύτη

Οι προκαθορισμένες πηγές δεδομένων υποστηρίζουν την ανάγνωση δεδομένων από αρχεία, καταλόγους, υποδοχές, καθώς και συλλογές και επαναλήπτες.

Οι προκαθορισμένες καταβόθρες δεδομένων υποστηρίζουν εγγραφή δεδομένων σε αρχεία, τυπική έξοδο (stdout), τυπική έξοδο σφάλματος (stderr) και υποδοχές.

2. Περιλαμβάνεται βύσμα

Ο σύνδεσμος μπορεί να αλληλεπιδράσει με μια ποικιλία συστημάτων τρίτων κατασκευαστών και προς το παρόν υποστηρίζει τα ακόλουθα συστήματα.

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
3. Συνδετήρες στο Apache Bahir

Το Flink διαθέτει επίσης πρόσθετους συνδέσμους που διανέμονται μέσω του Apache Bahir, όπως:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
  • 1
  • 2
  • 3
  • 4
  • 5
4. Άλλοι τρόποι σύνδεσης στο Flink
α) Ασύγχρονη I/O

Η χρήση εφαρμογών σύνδεσης δεν είναι ο μόνος τρόπος για να λαμβάνετε δεδομένα μέσα ή έξω από το Flink.

Μπορείτε να ρωτήσετε δεδομένα από μια εξωτερική βάση δεδομένων ή υπηρεσία Web για να λάβετε την αρχική ροή δεδομένων και, στη συνέχεια, να περάσετε Map ήFlatMap Για την αρχική επεξεργασία ροής δεδομένων, το Flink παρέχει ένα ασύγχρονο API εισόδου/εξόδου για να κάνει αυτή τη διαδικασία απλούστερη, πιο αποτελεσματική και πιο σταθερή.