Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Sommario

Le basi di Kafka

1.Quali sono gli usi di Kafka? Quali sono gli scenari di utilizzo?

2.Cosa significano ISR e AR in Kafka? Cosa significa ridimensionamento dell'ISR?

3.Cosa significano HW, LEO, LSO, LW, ecc. in Kafka?

4. In che modo Kafka riflette la sequenza dei messaggi?

5. Conosci il partizionatore, il serializzatore e l'interceptor in Kafka? Qual è l'ordine di elaborazione tra di loro?

6.Come si presenta la struttura complessiva del client produttore di Kafka?

7.Quanti thread vengono utilizzati nel client del produttore Kafka per l'elaborazione? Quali sono le differenze?

8. Quali sono i difetti nella progettazione del vecchio client consumer Scala di Kafka?

9. È corretta questa frase: "Se il numero di consumatori nel gruppo di consumatori supera la partizione dell'argomento, alcuni consumatori non saranno in grado di consumare dati." Se corretto, esiste qualche trucco?

10. Quali situazioni possono causare un consumo ripetuto?

In quali circostanze si consumerà la perdita di informazioni?

12.KafkaConsumer non è thread-safe, quindi come implementare il consumo multi-thread?

13. Descrivere brevemente la relazione tra consumatori e gruppi di consumatori

14. Quando usi kafka-topics.sh per creare (eliminare) un argomento, quale logica eseguirà Kafka dietro di esso?

15.È possibile aumentare il numero di partizioni degli argomenti? Se possibile, come è possibile aumentarlo? Se no, perché?

16.È possibile ridurre il numero di partizioni degli argomenti? Se possibile, come ridurlo? Se no, perché?

17. Come scegliere il numero appropriato di partizioni durante la creazione di un argomento?

Capitolo avanzato Kakfa

1. Quali argomenti interni ha attualmente Kafka e quali sono le loro caratteristiche? Qual è il ruolo di ciascuno?

2. Cos'è una copia prioritaria? Che funzione speciale ha?

3. Dove trova Kafka il concetto di allocazione delle partizioni?Descrivere brevemente il processo generale e i principi

4. Descrivi brevemente la struttura delle directory dei log di Kafka

5. Quali file indice ci sono in Kafka?

6. Se specifico un offset, come fa Kafka a trovare il messaggio corrispondente?

7. Se specifico un timestamp, come fa Kafka a trovare il messaggio corrispondente?

8. Parla della tua comprensione della conservazione dei log di Kafka

1. In base al tempo

2. In base alla dimensione del registro

3. Basato sull'offset iniziale del registro

9. Parla della tua comprensione della compattazione dei log di Kafka#

10. Parla della tua comprensione dello spazio di archiviazione sottostante di Kafka

11. Parliamo del principio dell’operazione di ritardo di Kafka

12 Parliamo del ruolo del controllore Kafka

13.Quali sono i difetti nella progettazione del vecchio client consumer Scala di Kafka?

14. Qual è il principio del riequilibrio dei consumi? (Suggerimento: coordinatore dei consumatori e coordinatore del gruppo di consumatori)

15.Come viene implementata l'idempotenza in Kafka?

Kafka Avanzato

1. Come vengono implementate le transazioni in Kafka?

2.Cosa significa copia non valida? Quali sono le contromisure?

3. In più copie, il processo di evoluzione di HW e LEO in ciascuna copia

4.Quali miglioramenti ha apportato Kafka in termini di affidabilità?

5.Perché Kafka non supporta la separazione lettura-scrittura?

6. Come implementare la coda di ritardo in Kafka

7. Come implementare la coda dei messaggi non recapitabili e la coda dei tentativi in ​​Kafka?

8. Come eseguire il controllo dei messaggi in Kafka?

9. Come creare tracce di messaggi in Kafka?

10. Come calcolare il ritardo? (Nota la differenza tra gli stati read_uncommit e read_commit)

11.Su quali indicatori di Kafka bisogna focalizzarsi?

12. Quali sono i progetti di Kafka che gli consentono di avere prestazioni così elevate?

1.Partizione

2. Ridurre il sovraccarico nella trasmissione in rete

3. Lettura e scrittura sequenziale

4. Tecnologia a copia zero

5. Eccellente meccanismo di archiviazione dei file

---

Le basi di Kafka

1.Quali sono gli usi di Kafka? Quali sono gli scenari di utilizzo?

Sistema di messaggistica: Sia Kafka che i sistemi di messaggistica tradizionali (chiamati anche middleware dei messaggi) hanno funzioni come disaccoppiamento del sistema, archiviazione ridondante, riduzione dei picchi di traffico, buffering, comunicazione asincrona, scalabilità e recuperabilità. Allo stesso tempo, Kafka fornisce anche funzioni di garanzia della sequenza dei messaggi e di consumo retroattivo che sono difficili da ottenere nella maggior parte dei sistemi di messaggistica.

Sistema di archiviazione: Kafka persiste i messaggi sul disco, il che riduce efficacemente il rischio di perdita di dati rispetto ad altri sistemi basati sull'archiviazione della memoria. È proprio grazie alla funzione di persistenza dei messaggi e al meccanismo di copia multipla di Kafka che possiamo utilizzare Kafka come sistema di archiviazione dei dati a lungo termine. Dobbiamo solo impostare la politica di conservazione dei dati corrispondente su "permanente" o abilitare la funzione di compressione del registro dell'argomento. Questo è tutto.

Piattaforma di elaborazione streaming: Kafka non solo fornisce un'origine dati affidabile per ogni framework di streaming popolare, ma fornisce anche una libreria di classi di streaming completa, come finestre, join, trasformazioni, aggregazioni e altre operazioni.