Datajärven ja varaston integrointi (1) Kääntää hudi_developdoc

Datajärven ja varaston integrointi (1) Kääntää hudi

2024-07-12

Sisällysluettelo

1. Big data -komponentin versiotiedot

2. Data Lake -varastoarkkitehtuuri

3. Data Lake -varaston komponenttien käyttöönoton suunnittelu

4. Kääntää hudi

1. Big data -komponentin versiotiedot

hudi-0.14.1
eläintarhanhoitaja-3.5.7
meritunneli-2.3.4
kafka_2.12-3.5.2
hadoop-3.3.5
mysql-5.7.28
apache-hive-3.1.3
kipinä-3.3.1
flink-1.17.2
apache-dolphinscheduler-3.1.9

2. Data Lake -varastoarkkitehtuuri

3. Data Lake -varaston komponenttien käyttöönoton suunnittelu

solmu106	solmu107	solmu108	solmu109	solmu110
ZK	ZK	ZK
meritunneli	meritunneli	meritunneli
kafka	kafka	kafka
RM	RM
		NM	NM	NM
NN	NN
		DN	DN	DN
JN	JN