Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Table des matières

Les bases de Kafka

1.Quelles sont les utilisations de Kafka ? Quels sont les scénarios d’utilisation ?

2. Que signifient ISR et AR dans Kafka ? Que signifie la mise à l’échelle de l’ISR ?

3. Que signifient HW, LEO, LSO, LW, etc. dans Kafka ?

4. Comment Kafka reflète-t-il la séquence des messages ?

5. Comprenez-vous le partitionneur, le sérialiseur et l'intercepteur dans Kafka ? Quel est l'ordre de traitement entre eux ?

6.À quoi ressemble la structure globale du client producteur Kafka ?

7.Combien de threads sont utilisés dans le client producteur Kafka pour le traitement ? Quelles sont les différences?

8. Quelles sont les failles dans la conception de l’ancien client grand public Scala de Kafka ?

9. Cette phrase est-elle correcte : « Si le nombre de consommateurs dans le groupe de consommateurs dépasse la partition thématique, certains consommateurs ne pourront pas consommer de données. Si c'est correct, y a-t-il un hack ?

10. Quelles situations peuvent provoquer une consommation répétée ?

Dans quelles circonstances les fuites d’informations seront-elles consommées ?

12.KafkaConsumer n'est pas thread-safe, alors comment implémenter la consommation multithread ?

13. Décrire brièvement la relation entre les consommateurs et les groupes de consommateurs

14. Lorsque vous utilisez kafka-topics.sh pour créer (supprimer) un sujet, quelle logique Kafka exécutera-t-il derrière celui-ci ?

15.Le nombre de partitions thématiques peut-il être augmenté ? Si possible, comment peut-on l’augmenter ? Si non, pourquoi ?

16.Le nombre de partitions de sujets peut-il être réduit ? Si possible, comment peut-on la réduire ? Si non, pourquoi ?

17. Comment choisir le nombre approprié de partitions lors de la création d'un sujet ?

Chapitre avancé de Kakfa

1. Quels sont les sujets internes de Kafka actuellement et quelles sont leurs caractéristiques ? Quel est le rôle de chacun ?

2. Qu'est-ce qu'une copie prioritaire ? Quelle fonction particulière a-t-il ?

3. D'où Kafka a-t-il eu le concept d'allocation de partition ?Décrire brièvement le processus général et les principes

4. Décrivez brièvement la structure du répertoire des journaux de Kafka

5. Quels fichiers d'index y a-t-il dans Kafka ?

6. Si je précise un décalage, comment Kafka trouve-t-il le message correspondant ?

7. Si je précise un horodatage, comment Kafka trouve-t-il le message correspondant ?

8. Parlez de votre compréhension de la conservation des journaux de Kafka

1. Basé sur le temps

2. Basé sur la taille du journal

3. Basé sur le décalage de départ du journal

9. Parlez de votre compréhension du compactage des journaux de Kafka

10. Parlez de votre compréhension du stockage sous-jacent de Kafka

11. Parlons du principe de l’opération de retard de Kafka

12 Parlons du rôle du contrôleur Kafka

13.Quelles sont les failles dans la conception de l’ancien client grand public Scala de Kafka ?

14. Quel est le principe du rééquilibrage de la consommation ? (Indice : coordonnateur des consommateurs et coordonnateur du groupe de consommateurs)

15.Comment l’idempotence est-elle mise en œuvre chez Kafka ?

Kafka Avancé

1. Comment les transactions sont-elles mises en œuvre dans Kafka ?

2. Que signifie une copie invalide ? Quelles sont les contre-mesures ?

3. Sous plusieurs copies, le processus d'évolution de HW et LEO dans chaque copie

4.Quelles améliorations Kafka a-t-il apportées en termes de fiabilité ?

5.Pourquoi Kafka ne prend-il pas en charge la séparation lecture-écriture ?

6. Comment implémenter une file d'attente différée dans Kafka

7. Comment implémenter la file d'attente de lettres mortes et la file d'attente de nouvelles tentatives dans Kafka ?

8. Comment effectuer un audit des messages dans Kafka ?

9. Comment créer des traces de messages dans Kafka ?

10. Comment calculer le décalage ? (Notez la différence entre les états read_uncommit et read_commit)

11. Sur quels indicateurs de Kafka faut-il se concentrer ?

12. Quelles sont les conceptions de Kafka qui lui permettent d'avoir des performances aussi élevées ?

1.Partition

2. Réduisez les frais généraux de transmission réseau

3. Lecture et écriture séquentielles

4. Technologie zéro copie

5. Excellent mécanisme de stockage de fichiers

---

Les bases de Kafka

1.Quelles sont les utilisations de Kafka ? Quels sont les scénarios d’utilisation ?

Système de messagerie : Kafka et les systèmes de messagerie traditionnels (également appelés middleware de messages) ont des fonctions telles que le découplage du système, le stockage redondant, l'écrêtement des pics de trafic, la mise en mémoire tampon, la communication asynchrone, l'évolutivité et la récupérabilité. Dans le même temps, Kafka offre également une garantie de séquence de messages et des fonctions de consommation rétroactive difficiles à réaliser dans la plupart des systèmes de messagerie.

Système de stockage: Kafka conserve les messages sur le disque, ce qui réduit efficacement le risque de perte de données par rapport à d'autres systèmes basés sur le stockage en mémoire. C'est précisément grâce à la fonction de persistance des messages et au mécanisme de copie multiple de Kafka que nous pouvons utiliser Kafka comme système de stockage de données à long terme. Il suffit de définir la politique de conservation des données correspondante sur « permanente » ou d'activer la fonction de compression des journaux du sujet. C'est ça.

Plateforme de traitement du streaming : Kafka fournit non seulement une source de données fiable pour tous les frameworks de streaming populaires, mais fournit également une bibliothèque complète de classes de streaming, telles que les fenêtres, les jointures, les transformations, les agrégations et autres opérations.