Compartilhamento de tecnologia

[Kafka] O produtor Kafka relatou um erro após ativar a idempotência: falha na autorização do cluster.

2024-07-11

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

fundo

  1. As necessidades de negócios do usuário exigem que a idempotência do produtor esteja habilitada. O produtor adicionou a configuração: enable.idempotence = true.
  2. O cluster usado pelo usuário tem autenticação ACL habilitada: SASL_PLAINTEXT/SCRAM-SHA-512
  3. Quando o usuário produz uma mensagem, ocorre um erro: org.apache.kafka.common.errors.ClusterAuthorizationException: Falha na autorização do cluster.

resolver

Configuração do servidor

Olhando o código-fonte do Kafka, descobri que a configuração do produtor (enable.idempotence) tem uma descrição:

Quando definido como 'true', o produtor garantirá que exatamente uma cópia de cada mensagem seja escrita no fluxo. Se 'false', as novas tentativas do produtor devido a falhas do broker, etc., podem escrever duplicatas da mensagem repetida no fluxo. Observe que habilitar a idempotência requer