Partage de technologie

Intégration de lacs de données et d'entrepôts (1) Compiler hudi

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


1. Informations sur la version du composant Big Data

  • hudi-0.14.1
  • gardien de zoo-3.5.7
  • tunnel de siège-2.3.4
  • kafka_2.12-3.5.2
  • Hadoop-3.3.5
  • mysql-5.7.28
  • apache-hive-3.1.3
  • étincelle-3.3.1
  • flink-1.17.2
  • apache-dolphinscheduler-3.1.9

2. Architecture d'entrepôt de lac de données

3. Planification du déploiement des composants de l'entrepôt de données du lac

nœud106 nœud107 nœud108 nœud109 nœud110

ZK

ZK

ZK

tunnel sous les sièges

tunnel sous les sièges

tunnel sous les sièges

Kafka

Kafka

Kafka

RM

RM

NM

NM

NM

NN

NN

DN

DN

DN

Jn

Jn