प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. काफ्का परिचयः

1.कफ्का परिभाषा

काफ्का प्रकाशन/सदस्यताप्रतिरूपस्य आधारेण वितरितसन्देशपङ्क्तिः (MQ, Message Queue) अस्ति यत् मुख्यतया बृहत् आँकडानां क्षेत्रे वास्तविकसमयगणनायाः लॉगसङ्ग्रहस्य च कृते उपयुज्यते ।

2. काफ्का परिचयः

काफ्का मूलतः लिङ्क्डिन् इत्यनेन विकसितम् आसीत् यत् एतत् वितरितं सन्देशमध्यस्थं प्रणाली अस्ति यत् विभाजनं, बहुप्रतिकृतीनां समर्थनं करोति, अस्य सर्वाधिकं विशेषता अस्ति यत् इदं वास्तविकसमये बृहत् परिमाणेन आँकडानां संसाधनं कर्तुं शक्नोति, यथा यथा hadoop-आधारित-बैच-प्रक्रियाकरण-प्रणाली, न्यून-विलम्बता-वास्तविक-समय-प्रणाली, Spark/Flink streaming engine, nginx access log, message service इत्यादि, scala भाषायां लिखितम्,
लिङ्केडिन् २०१० तमे वर्षे अपाचे फाउण्डेशन इत्यत्र योगदानं दत्तवान्, ततः सः शीर्षस्थः मुक्तस्रोतप्रकल्पः अभवत् ।

3. भवतः Message Queuing (MQ) किमर्थं आवश्यकम्

मुख्यकारणं यत् उच्च-समवर्तीवातावरणे समन्वयन-अनुरोधाः समये संसाधिताः न भवन्ति, अनुरोधाः च प्रायः अवरुद्धाः भवन्ति । उदाहरणार्थं, बहूनां अनुरोधानाम् एकत्रैव दत्तांशकोशं प्राप्नुवन्ति, यस्य परिणामेण पङ्क्ति-तालाः, सारणी-तालाः च भवन्ति, अन्ते, अत्यधिकाः अनुरोध-सूत्राः सञ्चिताः भविष्यन्ति, येन अत्यधिकाः संयोजन-दोषाः प्रवर्तन्ते, हिमस्खलन-प्रभावः च प्रवर्तते
वयं प्रणाल्यां दबावं निवारयितुं अनुरोधानाम् अतुल्यकालिकरूपेण निबन्धनार्थं सन्देशपङ्क्तयः उपयुञ्ज्महे । सन्देशपङ्क्तयः प्रायः अतुल्यकालिकप्रक्रियाकरणे, यातायातशिखरमुण्डनीकरणे, अनुप्रयोगवियुग्मनम्, सन्देशसञ्चारादिषु परिदृश्येषु उपयुज्यन्ते ।

सम्प्रति अधिकसामान्य MQ मध्यवर्तीषु ActiveMQ, RabbitMQ, RocketMQ, Kafka इत्यादयः सन्ति ।

4. सन्देशपङ्क्तौ उपयोगस्य लाभाः

(1) वियुग्मनम्
उभयतः प्रक्रियाः स्वतन्त्रतया विस्तारयितुं परिवर्तनं वा कर्तुं शक्नोति, यावत् ते समानानि अन्तरफलकप्रतिबन्धान् अनुसरन्ति ।

(2) पुनर्स्थापनीयता
यदा तन्त्रस्य एकः घटकः विफलः भवति तदा तस्य प्रभावः सम्पूर्णं तन्त्रं न भवति । सन्देशपङ्क्तिः प्रक्रियाणां मध्ये युग्मनं न्यूनीकरोति, अतः यदि सन्देशसंसाधनप्रक्रियायाः प्रक्रिया लम्बते चेदपि, पङ्क्तौ योजिताः सन्देशाः प्रणाल्याः पुनः प्राप्तेः अनन्तरं संसाधितुं शक्यन्ते

(3) बफरिंग
इदं प्रणाल्याः माध्यमेन दत्तांशप्रवाहस्य गतिं नियन्त्रयितुं अनुकूलितुं च साहाय्यं करोति, तथा च उत्पादनसन्देशानां उपभोक्तृसन्देशानां च असङ्गतप्रक्रियावेगस्य समस्यायाः समाधानं करोति

(4) लचीलता