Comment démarrer Kafka après avoir abandonné Zookeeper ?

2024-07-08

Comment télécharger Kafaka

Adresse du site officiel
La dernière version de Kafka est actuellement la 3.7.1

Pouvons-nous voir les informations sur les deux versions ci-dessous ? Qu'est-ce que cela signifie?

Scala 2.12 - kafka_2.12-3.7.1.tgz (asc, sha512)
Scala 2.13 - kafka_2.13-3.7.1.tgz (asc, sha512)
Il faut savoir qu'une instance Kafka complète contient au moins 3 parties :
Producteur
Courtier
Producteur-Consommateur
Les producteurs et les consommateurs utilisent le langage Java, et le Broker utilise le langage Scala, vous comprendrez donc. 2.12 et 2.13 sont en fait les versions de Scala, et 3.7.1 est le véritable numéro de version officiel de Kafka.

Installation de Kafka

Nous devons d'abord nous assurer que notre serveur dispose d'un environnement Java installé :

java -version

Télécharger Kafka :
Spécifiez le chemin où nous le stockons par -o

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

Décompressez :

tar -zxvf  kafka_2.13-3.7.1.tgz

Configuration et démarrage de Kafka

Conseils
KafkaIl s'agit d'un système de messagerie de publication-abonnement distribué à haut débit qui peut traiter toutes les données de flux d'action des consommateurs sur le site Web.
KafkaDans les versions précédentes, s'il n'y avait pasGardien de zoo,Kafkane fonctionnera pas.
utiliséKafkales développeurs doivent savoir qu'à chaque fois qu'ils lancentKafkaAu moment de servir, il faut d'abordGardien de zooCommencez, puis commencezKafka, les étapes sont assez compliquées.
KafkaPublié maintenant2.8version, permettant aux utilisateurs d'utiliser laGardien de zoocourir sousKafka, cette version dépendra deGardien de zooLe contrôleur a été transformé en un contrôleur basé surRadeau de KafkadeQuormContrôleur (mode KRaft).

Démarrer via ZooKeeper

Afficher le fichier de configuration :

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1 : Modifier la configuration de ZooKeeper

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置，不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2 : Démarrer ZooKeeper
Entrez dans le répertoire bin de Kafka :

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3 : Démarrer Kafka

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功，看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

Afficher le journal de démarrage
Si vous ne voyez pas le processus Kafka utiliser la commande JPS après avoir exécuté la commande de démarrage, le démarrage a peut-être échoué.Vous pouvez consulter le journal de démarrage sous le chemin correspondant et remplacer le chemin par votre propre chemin Kafka.
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

Démarrer Kafka en mode KRaft

Ouvrez notre KafkaConfigurationrépertoire, il existe un dossier KRaft.
1 : Modifiez-nous pour modifier l'emplacement de stockage des données

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2 : Générer un identifiant unique pour le répertoire de stockage
Il y a un fichier kafka-storage.sh dans le répertoire bin de kafka

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3 : Formater le répertoire de stockage

# 将上一步生成的唯一ID替换成自己的，启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

Résultats du :

4 : Démarrer Kafka

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties

Partage de technologie