기술나눔

Zookeeper를 포기한 후 Kafka를 시작하는 방법은 무엇입니까?

2024-07-08

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

카파카 다운로드 방법

공식 웹사이트 주소
Kafka의 최신 버전은 현재 3.7.1입니다.

아래 두 가지 버전 정보를 보실까요? 그게 무슨 뜻이에요?

  • 스칼라 2.12 - kafka_2.12-3.7.1.tgz(오름차순, sha512)
  • 스칼라 2.13 - kafka_2.13-3.7.1.tgz(오름차순, sha512)
    완전한 Kafka 인스턴스에는 최소한 3개의 부분이 포함되어 있다는 것을 알아야 합니다.
  • 생산자
  • 브로커
  • 생산자-소비자
    생산자와 소비자는 Java 언어를 사용하고 Broker는 Scala 언어를 사용하므로 이해하실 수 있습니다. 2.12와 2.13은 실제로 Scala 버전이고, 3.7.1은 Kafka의 실제 공식 버전 번호입니다.

카프카 설치

먼저 서버에 Java 환경이 설치되어 있는지 확인해야 합니다.

java -version

카프카 다운로드:
-o로 저장할 경로를 지정하세요.

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

압축을 푼다:

tar -zxvf  kafka_2.13-3.7.1.tgz

Kafka 구성 및 시작


카프카웹사이트 내 소비자의 모든 행동 흐름 데이터를 처리할 수 있는 처리량이 높은 분산 게시-구독 메시징 시스템입니다.
카프카이전 버전에서는 없었을 경우동물원 관리자,카프카작동하지 않습니다.
사용된카프카개발자는 출시할 때마다 이 사실을 알아야 합니다.카프카서빙할 때 가장 먼저 해야 할 일은동물원 관리인시작하고, 그다음 시작하세요카프카, 단계가 상당히 복잡합니다.
카프카지금 게시됨2.8버전으로, 사용자가동물원 관리자아래에서 실행카프카, 이 버전은 다음에 따라 달라집니다.동물원 관리자컨트롤러는 다음을 기반으로 컨트롤러로 변형되었습니다.카프카 뗏목~의쿼름컨트롤러(KRaft 모드).

ZooKeeper를 통해 시작

구성 파일을 봅니다.

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1: ZooKeeper 구성 수정

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置,不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2: ZooKeeper 시작
Kafka의 bin 디렉터리를 입력합니다.

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3: 카프카 시작

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功,看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

시작 로그 보기
시작 명령을 실행한 후 JPS 명령을 사용하여 Kafka 프로세스가 표시되지 않으면 시작이 실패한 것일 수 있습니다.해당 경로 아래의 시작 로그를 확인하고 경로를 자신의 Kafka 경로로 바꿀 수 있습니다.
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

KRaft 모드에서 Kafka 시작

카프카를 열어보세요구성디렉토리에 KRaft 폴더가 있습니다.
1: 데이터 저장 위치를 ​​수정하려면 수정하세요.

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2: 저장소 디렉터리에 대한 고유 ID를 생성합니다.
Kafka의 bin 디렉터리에 kafka-storage.sh 파일이 있습니다.

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3: 저장 디렉터리 포맷

# 将上一步生成的唯一ID替换成自己的,启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

결과:


4: 카프카 시작

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties