Обмен технологиями

Как запустить Kafka после отказа от Zookeeper?

2024-07-08

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Как скачать Кафаку

Официальный адрес сайта
Последняя версия Kafka на данный момент — 3.7.1.

Можем ли мы увидеть информацию о двух версиях ниже? Что это значит?

  • Scala 2.12 - kafka_2.12-3.7.1.tgz (asc, sha512)
  • Scala 2.13 - kafka_2.13-3.7.1.tgz (asc, sha512)
    Мы должны знать, что полный экземпляр Kafka состоит как минимум из 3 частей:
  • Режиссер
  • Маклер
  • Производитель-Потребитель
    Производители и потребители используют язык Java, а Брокер — язык Scala, так что вы поймете. 2.12 и 2.13 на самом деле являются версиями Scala, а 3.7.1 — это настоящий официальный номер версии Kafka.

Установка Кафки

Сначала нам нужно убедиться, что на нашем сервере установлена ​​среда Java:

java -version

Скачать Кафку:
Укажите путь, по которому мы его сохраним, с помощью -o

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

Разархивируйте:

tar -zxvf  kafka_2.13-3.7.1.tgz

Конфигурация и запуск Kafka

Советы
КафкаЭто высокопроизводительная распределенная система обмена сообщениями публикации-подписки, которая может обрабатывать все данные потока действий потребителей на веб-сайте.
КафкаВ предыдущих версиях, если не былоРаботник зоопарка,Кафкане будет функционировать.
использовалкафкаразработчики должны знать, что каждый раз при запускекафкаПри подаче необходимо сначалаРаботник зоопаркаНачни, потом начникафка, шаги довольно сложны.
КафкаОпубликовано сейчас2.8версию, позволяющую пользователям использоватьРаботник зоопаркабежит подКафка, эта версия будет зависеть отРаботник зоопаркаКонтроллер был преобразован в контроллер на базеПлот КафкиизКвормКонтроллер (режим KRaft).

Запустить через ZooKeeper

Просмотрите файл конфигурации:

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1. Изменить конфигурацию ZooKeeper.

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置,不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2. Запустите ZooKeeper.
Введите каталог bin Kafka:

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3: Запустите Кафку

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功,看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

Посмотреть журнал запуска
Если вы не видите процесс Kafka, использующий команду JPS, после выполнения команды запуска, возможно, запуск не удался.Вы можете проверить журнал запуска по соответствующему пути и заменить его собственным путем Kafka.
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

Запуск Kafka в режиме KRaft

Откройте нашу КафкуКонфигурациякаталоге есть папка KRaft.
1: Измените нас, чтобы изменить место хранения данных.

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2. Создайте уникальный идентификатор для каталога хранения.
В каталоге bin kafka есть файл kafka-storage.sh.

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3. Отформатируйте каталог хранения.

# 将上一步生成的唯一ID替换成自己的,启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

Результаты:


4: Запустите Кафку

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties