Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Εισαγωγή στον κάφκα

1.κάφκα ορισμός

Το Kafka είναι μια κατανεμημένη ουρά μηνυμάτων (MQ, ουρά μηνυμάτων) που βασίζεται στο μοντέλο δημοσίευσης/εγγραφής Χρησιμοποιείται κυρίως για υπολογιστές σε πραγματικό χρόνο και συλλογή αρχείων καταγραφής στον τομέα των μεγάλων δεδομένων.

2. Εισαγωγή στον Κάφκα

Το Kafka αναπτύχθηκε αρχικά από το Linkedin Είναι ένα κατανεμημένο ενδιάμεσο σύστημα μηνυμάτων που υποστηρίζει κατατμήσεις, πολλαπλά αντίγραφα και συντονίζεται από το Zookeeper ως σύστημα επεξεργασίας παρτίδων που βασίζεται σε hadoop, σύστημα σε πραγματικό χρόνο χαμηλής καθυστέρησης, μηχανή ροής Spark/Flink, αρχείο καταγραφής πρόσβασης nginx, υπηρεσία μηνυμάτων κ.λπ., γραμμένο σε γλώσσα scala,
Το Linkedin συνεισέφερε στο Apache Foundation το 2010 και έγινε κορυφαίο έργο ανοιχτού κώδικα.

3. Γιατί χρειάζεστε την ουρά μηνυμάτων (MQ)

Ο κύριος λόγος είναι ότι σε περιβάλλον υψηλού συγχρονισμού, τα αιτήματα συγχρονισμού δεν υποβάλλονται σε έγκαιρη επεξεργασία και τα αιτήματα συχνά αποκλείονται. Για παράδειγμα, ένας μεγάλος αριθμός αιτημάτων έχει πρόσβαση ταυτόχρονα στη βάση δεδομένων, με αποτέλεσμα να κλειδώνονται σειρές και να κλειδώνουν τραπέζια. Τέλος, θα συσσωρεύονται πάρα πολλά νήματα αιτημάτων, προκαλώντας πάρα πολλά σφάλματα σύνδεσης και ενεργοποιώντας ένα φαινόμενο χιονοστιβάδας.
Χρησιμοποιούμε ουρές μηνυμάτων για να χειριστούμε αιτήματα ασύγχρονα για να εκτονώσουμε την πίεση στο σύστημα. Οι ουρές μηνυμάτων χρησιμοποιούνται συχνά στην ασύγχρονη επεξεργασία, στο ξύρισμα αιχμής της κυκλοφορίας, στην αποσύνδεση εφαρμογών, στην επικοινωνία μηνυμάτων και σε άλλα σενάρια.

Επί του παρόντος, τα πιο κοινά ενδιάμεσα προγράμματα MQ περιλαμβάνουν ActiveMQ, RabbitMQ, RocketMQ, Kafka, κ.λπ.

4. Οφέλη από τη χρήση ουρών μηνυμάτων

(1) Αποσύνδεση
Σας επιτρέπει να επεκτείνετε ή να τροποποιείτε τις διεργασίες και στις δύο πλευρές ανεξάρτητα, αρκεί να τηρούν τους ίδιους περιορισμούς διεπαφής.

(2) Δυνατότητα αποκατάστασης
Όταν ένα στοιχείο του συστήματος αποτυγχάνει, δεν επηρεάζει ολόκληρο το σύστημα. Η ουρά μηνυμάτων μειώνει τη σύζευξη μεταξύ των διεργασιών, επομένως, ακόμη και αν μια διαδικασία επεξεργασίας μηνυμάτων τερματιστεί, τα μηνύματα που προστίθενται στην ουρά μπορούν να υποβληθούν σε επεξεργασία μετά την ανάκτηση του συστήματος.

(3) Προσωρινή αποθήκευση
Βοηθά στον έλεγχο και τη βελτιστοποίηση της ταχύτητας της ροής δεδομένων μέσω του συστήματος και στην επίλυση του προβλήματος των ασυνεπών ταχυτήτων επεξεργασίας των μηνυμάτων παραγωγής και των μηνυμάτων των καταναλωτών.

(4) Ευελιξία