Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Índice

Noções básicas de Kafka

1.Quais são os usos do Kafka? Quais são os cenários de uso?

2.O que significam ISR e AR em Kafka? O que significa escalonamento de ISR?

3.O que significam HW, LEO, LSO, LW, etc. em Kafka?

4. Como Kafka reflete a sequência da mensagem?

5. Você entende o particionador, serializador e interceptador no Kafka? Qual é a ordem de processamento entre eles?

6.Como é a estrutura geral do cliente produtor Kafka?

7.Quantos threads são usados ​​no cliente produtor Kafka para processamento? Quais são as diferenças?

8. Quais são as falhas no design do antigo cliente consumidor Scala de Kafka?

9. Esta frase está correta: “Se o número de consumidores no grupo de consumidores exceder a partição do tópico, alguns consumidores não conseguirão consumir dados”. Se estiver correto, existe algum hack?

10. Que situações podem provocar o consumo repetido?

Em que circunstâncias o vazamento de informações será consumido?

12.KafkaConsumer não é seguro para threads, então como implementar o consumo multithread?

13. Descreva resumidamente a relação entre consumidores e grupos de consumidores

14. Quando você usa kafka-topics.sh para criar (excluir) um tópico, que lógica o Kafka executará por trás dele?

15.O número de partições de tópicos pode ser aumentado? Se possível, como pode ser aumentado? Se não, por quê?

16.O número de partições de tópicos pode ser reduzido? Se possível, como pode ser reduzido? Se não, por quê?

17. Como escolher o número adequado de partições ao criar um tópico?

Capítulo Avançado Kakfa

1. Quais são os temas internos do Kafka atualmente e quais são suas características? Qual é o papel de cada um?

2. O que é uma cópia prioritária? Que função especial ele tem?

3. Onde Kafka tem o conceito de alocação de partições?Descreva resumidamente o processo geral e os princípios

4. Descreva resumidamente a estrutura do diretório de log do Kafka

5. Quais arquivos de índice existem no Kafka?

6. Se eu especificar um deslocamento, como o Kafka encontra a mensagem correspondente?

7. Se eu especificar um carimbo de data/hora, como o Kafka encontra a mensagem correspondente?

8. Fale sobre sua compreensão da retenção de logs de Kafka

1. Com base no tempo

2. Com base no tamanho do log

3. Com base no deslocamento inicial do log

9. Fale sobre sua compreensão da Compactação de Log de Kafka#

10. Fale sobre sua compreensão do armazenamento subjacente do Kafka

11. Vamos falar sobre o princípio da operação de atraso de Kafka

12 Vamos falar sobre o papel do controlador Kafka

13.Quais são as falhas no design do antigo cliente consumidor Scala de Kafka?

14. Qual é o princípio do reequilíbrio do consumo? (Dica: Coordenador de Consumidores e Coordenador de Grupo de Consumidores)

15.Como a idempotência é implementada em Kafka?

Kafka Avançado

1. Como as transações são implementadas no Kafka?

2.O que significa uma cópia inválida? Quais são as contramedidas?

3. Sob múltiplas cópias, o processo de evolução de HW e LEO em cada cópia

4.Quais melhorias o Kafka fez em termos de confiabilidade?

5.Por que o Kafka não oferece suporte à separação leitura-gravação?

6. Como implementar fila de atraso no Kafka

7. Como implementar a fila de mensagens mortas e a fila de novas tentativas no Kafka?

8. Como fazer auditoria de mensagens no Kafka?

9. Como criar rastreamentos de mensagens no Kafka?

10. Como calcular o Lag? (Observe a diferença entre os estados read_uncommitted e read_committed)

11.Em quais indicadores de Kafka precisamos focar?

12. Quais são os designs do Kafka que lhe permitem ter um desempenho tão alto?

1. Partição

2. Reduza a sobrecarga na transmissão da rede

3. Leitura e escrita sequencial

4. Tecnologia de cópia zero

5. Excelente mecanismo de armazenamento de arquivos

---

Noções básicas de Kafka

1.Quais são os usos do Kafka? Quais são os cenários de uso?

Sistema de mensagens: Tanto o Kafka quanto os sistemas de mensagens tradicionais (também chamados de middleware de mensagens) têm funções como desacoplamento de sistema, armazenamento redundante, redução de pico de tráfego, buffer, comunicação assíncrona, escalabilidade e capacidade de recuperação. Ao mesmo tempo, Kafka também fornece garantia de sequência de mensagens e funções de consumo retroativo que são difíceis de alcançar na maioria dos sistemas de mensagens.

Sistema de armazenamento: Kafka persiste mensagens em disco, o que reduz efetivamente o risco de perda de dados em comparação com outros sistemas baseados em armazenamento de memória. É precisamente graças à função de persistência de mensagens e ao mecanismo de cópia múltipla do Kafka que podemos usar o Kafka como um sistema de armazenamento de dados de longo prazo. Basta definir a política de retenção de dados correspondente como "permanente" ou ativar a função de compactação de log do tópico. É isso.

Plataforma de processamento de streaming: Kafka não apenas fornece uma fonte de dados confiável para cada estrutura de streaming popular, mas também fornece uma biblioteca completa de classes de streaming, como janelas, junções, transformações, agregações e outras operações.