Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Como baixar o Kafaka

Endereço do site oficial
A versão mais recente do Kafka é atualmente 3.7.1

Podemos ver as informações das duas versões abaixo? O que isso significa?

• Scala 2.12 - kafka_2.12-3.7.1.tgz (asc, sha512)
• Scala 2.13 - kafka_2.13-3.7.1.tgz (asc, sha512)
  Devemos saber que uma instância completa do Kafka contém pelo menos 3 partes:
• Produtor
• Corretor
• Produtor-Consumidor
  Os produtores e consumidores utilizam a linguagem Java, e o Broker utiliza a linguagem Scala, então você vai entender. 2.12 e 2.13 são na verdade as versões do Scala, e 3.7.1 é o verdadeiro número da versão oficial do Kafka.

Instalação Kafka

Precisamos primeiro garantir que nosso servidor tenha um ambiente Java instalado:

java -version

Baixe o kafka:
Especifique o caminho onde o armazenamos por -o

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

Descompactar:

tar -zxvf  kafka_2.13-3.7.1.tgz

Configuração e inicialização do Kafka

Pontas
KafkaÉ um sistema de mensagens de publicação e assinatura distribuído de alto rendimento que pode processar todos os dados do fluxo de ação dos consumidores no site.
KafkaNas versões anteriores, se não houvesseFuncionário do zoológico,Kafkanão funcionará.
usadokafkaos desenvolvedores devem saber que toda vez que lançamkafkaAo servir, é necessário primeiroFuncionário do zoológicoComece, então comecekafka, as etapas são bastante complicadas.
KafkaPublicado agora2.8versão, permitindo que os usuários usem oFuncionário do zoológicocorrendo sobKafka, esta versão dependeráFuncionário do zoológicoO controlador foi transformado em um baseado emJangada de KafkadeQuormControlador (modo KRaft).

Comece pelo ZooKeeper

Veja o arquivo de configuração:

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1: Modifique a configuração do ZooKeeper

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置，不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2: Inicie o ZooKeeper
Entre no diretório bin do kafka:

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3: Inicie o Kafka

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功，看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

Ver registro de inicialização
Se você não vir o processo Kafka usando o comando JPS após executar o comando de inicialização, a inicialização pode ter falhado.Você pode verificar o log de inicialização no caminho correspondente e substituir o caminho pelo seu próprio caminho Kafka.
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

Iniciando Kafka no modo KRaft

Abra nosso KafkaConfiguraçãodiretório, há uma pasta KRaft.
1: Modifique-nos para modificar o local de armazenamento de dados

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2: Gere um ID exclusivo para o diretório de armazenamento
Há um arquivo kafka-storage.sh no diretório bin do kafka

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3: Formate o diretório de armazenamento

# 将上一步生成的唯一ID替换成自己的，启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

Resultados do:

4: Inicie o Kafka

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties