Zookeeper を放棄した後に Kafka を開始するにはどうすればよいですか?

2024-07-08

カファカのダウンロード方法

公式サイトアドレス
現在の Kafka の最新バージョンは 3.7.1 です。

以下の 2 つのバージョン情報を確認できますか?それはどういう意味ですか？

Scala 2.12 - kafka_2.12-3.7.1.tgz (asc、sha512)
Scala 2.13 - kafka_2.13-3.7.1.tgz (asc、sha512)
完全な Kafka インスタンスには少なくとも 3 つの部分が含まれていることを知っておく必要があります。
プロデューサー
ブローカ
生産者と消費者
プロデューサーとコンシューマーは Java 言語を使用し、ブローカーは Scala 言語を使用するので、理解できるでしょう。 2.12 と 2.13 は実際には Scala のバージョンであり、3.7.1 が Kafka の実際の公式バージョン番号です。

Kafka のインストール

まずサーバーに Java 環境がインストールされていることを確認する必要があります。

java -version

カフカをダウンロード:
-o で保存するパスを指定します

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

解凍:

tar -zxvf  kafka_2.13-3.7.1.tgz

Kafka の構成と起動

チップ
カフカこれは、Web サイト内の消費者のすべてのアクションフローデータを処理できる、高スループットの分散型パブリッシュ/サブスクライブメッセージングシステムです。
カフカ以前のバージョンでは、動物園飼育員,カフカ機能しません。
使用済みカフカ開発者は起動するたびにそれを認識する必要がありますカフカ提供するときは、まず次のことを行う必要があります。飼育係始めて、また始めてカフカ, 手順はかなり複雑です。
カフカ現在公開中2.8バージョンを使用すると、ユーザーは動物園飼育員下を走るカフカ、このバージョンはによって異なります動物園飼育員コントローラーをベースに改造しました。カフカ・ラフトのクォームコントローラー (KRaft モード)。

ZooKeeper から開始

構成ファイルを表示します。

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1: ZooKeeper 構成を変更する

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置，不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2: ZooKeeperを起動する
Kafka の bin ディレクトリに入ります。

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3: カフカを起動する

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功，看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

起動ログを表示する
起動コマンドを実行した後、JPS コマンドを使用して Kafka プロセスが表示されない場合は、起動に失敗している可能性があります。対応するパスの下の起動ログを確認し、そのパスを独自の Kafka パスに置き換えることができます。
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

KRaft モードで Kafka を開始する

カフカを開いてください設定ディレクトリにKRaftフォルダがあります。
1: データの保存場所を変更するように変更します。

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2: 保存ディレクトリの一意の ID を生成します。
kafkaのbinディレクトリにkafka-storage.shファイルがあります

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3: 保存ディレクトリをフォーマットする

# 将上一步生成的唯一ID替换成自己的，启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

結果:

4: カフカを起動する

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties

技術共有