Wie starte ich Kafka, nachdem ich Zookeeper aufgegeben habe?

2024-07-08

So laden Sie Kafaka herunter

Offizielle Website-Adresse
Die neueste Version von Kafka ist derzeit 3.7.1

Können wir die beiden Versionsinformationen unten sehen? Was bedeutet das?

Scala 2.12 – kafka_2.12-3.7.1.tgz (asc, sha512)
Scala 2.13 – kafka_2.13-3.7.1.tgz (asc, sha512)
Wir sollten wissen, dass eine vollständige Kafka-Instanz mindestens drei Teile enthält:
Hersteller
Makler
Produzent-Verbraucher
Die Produzenten und Konsumenten verwenden die Java-Sprache und der Broker verwendet die Scala-Sprache, sodass Sie es verstehen werden. 2.12 und 2.13 sind eigentlich die Versionen von Scala, und 3.7.1 ist die tatsächliche offizielle Versionsnummer von Kafka.

Kafka-Installation

Wir müssen zunächst sicherstellen, dass auf unserem Server eine Java-Umgebung installiert ist:

java -version

Kafka herunterladen:
Geben Sie mit -o den Pfad an, in dem wir es speichern

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

Entpacken:

tar -zxvf  kafka_2.13-3.7.1.tgz

Kafka-Konfiguration und Start

Tipps
KafkaEs handelt sich um ein verteiltes Publish-Subscribe-Messagingsystem mit hohem Durchsatz, das alle Aktionsflussdaten der Verbraucher auf der Website verarbeiten kann.
KafkaIn früheren Versionen war dies nicht der FallZooKeeper,Kafkawird nicht funktionieren.
gebrauchtKafkaEntwickler sollten das bei jedem Start wissenKafkaBeim Servieren ist es notwendig, zuerstTierpflegerFangen Sie an, dann beginnen SieKafka, die Schritte sind ziemlich kompliziert.
KafkaJetzt veröffentlicht2.8Version, die es Benutzern ermöglicht, die zu verwendenZooKeeperunterlaufenKafka, diese Version hängt davon abZooKeeperDer Controller wurde basierend auf in einen umgewandeltKafka-FloßvonQuormController (KRaft-Modus).

Starten Sie über ZooKeeper

Sehen Sie sich die Konfigurationsdatei an:

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1: ZooKeeper-Konfiguration ändern

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置，不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2: Starten Sie ZooKeeper
Geben Sie das Bin-Verzeichnis von Kafka ein:

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3: Beginnen Sie mit Kafka

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功，看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

Startprotokoll anzeigen
Wenn Sie den Kafka-Prozess, der den JPS-Befehl verwendet, nach der Ausführung des Startbefehls nicht sehen, ist der Start möglicherweise fehlgeschlagen.Sie können das Startprotokoll unter dem entsprechenden Pfad überprüfen und den Pfad durch Ihren eigenen Kafka-Pfad ersetzen.
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

Kafka im KRaft-Modus starten

Öffne unser KafkaKonfigurationVerzeichnis gibt es einen KRaft-Ordner.
1: Ändern Sie uns, um den Speicherort der Daten zu ändern

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2: Generieren Sie eine eindeutige ID für das Speicherverzeichnis
Im bin-Verzeichnis von Kafka befindet sich eine Datei kafka-storage.sh

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3: Formatieren Sie das Speicherverzeichnis

# 将上一步生成的唯一ID替换成自己的，启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

Ergebnisse der:

4: Beginnen Sie mit Kafka

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties

Technologieaustausch