Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Pengantar kafka

1.definisi kafka

Kafka adalah antrian pesan terdistribusi (MQ, Antrean Pesan) berdasarkan model terbitkan/berlangganan. Ini terutama digunakan untuk komputasi waktu nyata dan pengumpulan log di bidang data besar.

2. Pengantar Kafka

Kafka awalnya dikembangkan oleh Linkedin. Ini adalah sistem middleware pesan terdistribusi yang mendukung partisi, banyak replika, dan dikoordinasikan oleh Zookeeper. Fitur terbesarnya adalah dapat memproses data dalam jumlah besar secara real-time seperti sistem pemrosesan batch berbasis hadoop, sistem real-time latensi rendah, mesin streaming Spark/Flink, log akses nginx, layanan pesan, dll., ditulis dalam bahasa scala,
Linkedin dikontribusikan ke Apache Foundation pada tahun 2010 dan menjadi proyek sumber terbuka teratas.

3. Mengapa Anda memerlukan Antrian Pesan (MQ)

Alasan utamanya adalah dalam lingkungan konkurensi tinggi, permintaan sinkronisasi tidak diproses tepat waktu, dan permintaan sering kali diblokir. Misalnya, sejumlah besar permintaan mengakses database secara bersamaan, mengakibatkan kunci baris dan kunci tabel. Terakhir, terlalu banyak rangkaian permintaan akan terakumulasi, memicu terlalu banyak kesalahan koneksi dan memicu efek longsoran salju.
Kami menggunakan antrian pesan untuk menangani permintaan secara asinkron guna mengurangi tekanan pada sistem. Antrian pesan sering digunakan dalam pemrosesan asinkron, pencukuran puncak lalu lintas, pemisahan aplikasi, komunikasi pesan, dan skenario lainnya.

Saat ini, middleware MQ yang lebih umum mencakup ActiveMQ, RabbitMQ, RocketMQ, Kafka, dll.

4. Manfaat menggunakan antrian pesan

(1) Pemisahan
Memungkinkan Anda memperluas atau memodifikasi proses di kedua sisi secara independen, selama proses tersebut mematuhi batasan antarmuka yang sama.

(2) Pemulihan
Jika salah satu komponen sistem mengalami kegagalan, maka tidak akan berdampak pada keseluruhan sistem. Antrean pesan mengurangi sambungan antar proses, jadi meskipun proses yang memproses pesan terhenti, pesan yang ditambahkan ke antrean masih dapat diproses setelah sistem pulih.

(3) Penyangga
Ini membantu mengontrol dan mengoptimalkan kecepatan aliran data melalui sistem, dan memecahkan masalah kecepatan pemrosesan pesan produksi dan pesan konsumen yang tidak konsisten.

(4) Fleksibilitas