Intégration de lacs de données et d'entrepôts (1) Compiler hudi_developdoc

Intégration de lacs de données et d'entrepôts (1) Compiler hudi

2024-07-12

Table des matières

1. Informations sur la version du composant Big Data

2. Architecture d'entrepôt de lac de données

3. Planification du déploiement des composants de l'entrepôt de données du lac

4. Compiler hudi

1. Informations sur la version du composant Big Data

hudi-0.14.1
gardien de zoo-3.5.7
tunnel de siège-2.3.4
kafka_2.12-3.5.2
Hadoop-3.3.5
mysql-5.7.28
apache-hive-3.1.3
étincelle-3.3.1
flink-1.17.2
apache-dolphinscheduler-3.1.9

2. Architecture d'entrepôt de lac de données

3. Planification du déploiement des composants de l'entrepôt de données du lac

nœud106	nœud107	nœud108	nœud109	nœud110
ZK	ZK	ZK
tunnel sous les sièges	tunnel sous les sièges	tunnel sous les sièges
Kafka	Kafka	Kafka
RM	RM
		NM	NM	NM
NN	NN
		DN	DN	DN
Jn	Jn

Profil personnel

Il se consacre à la recherche technologique depuis plus de 30 ans et maîtrise divers langages tels que java, linux, javascript, php, css, etc. Il a apporté de nombreuses contributions dans le domaine de l'open source. station de documentation pour les développeurs pour partager certains problèmes de développement technologique pour référence future.

mes coordonnées

Mail[email protected]