आधारनिर्माणस्य १०० दिवसेषु १७ दिवसः - सन्देशपङ्क्तिकरणेन सह आरम्भः
2024-07-12
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
आधारनिर्माणस्य १०० दिवसेषु १७ दिवसः - सन्देशपङ्क्तिकरणेन सह आरम्भः
मूलभूत अवधारणाएँ
सन्देशपङ्क्तिः किम् ?
MQ:सन्देश कतार
सन्देशान् संगृह्णाति इति पङ्क्तिः सन्देशान् उपभोक्तुं क्रमेण (पङ्क्तिः प्रथमं अन्तः, प्रथमं बहिः) ।
सन्देशप्रसारणसम्बद्धौ पक्षद्वयम् आहूयते उत्पादकः तथाउपभोक्ता , उत्पादकः सन्देशप्रेषणस्य उत्तरदायी भवति, उपभोक्ता च सन्देशसंसाधनस्य उत्तरदायी भवति ।
सन्देशपङ्क्तिः किं प्रयोजनम् ?
त्रयः परिचिताः लाभाः：
- अतुल्यकालिकप्रक्रियाकरणम् : सन्देशपङ्क्तौ तत्सम्बद्धं सन्देशं प्रेषयित्वा तत्क्षणमेव परिणामः प्रत्यागच्छति, येन प्रतिक्रियासमयः न्यूनीकरोति, उपयोक्तृअनुभवः च सुधरति तदनन्तरं प्रणाली सन्देशस्य उपभोगं करोति ।
- शिखर-क्लिपिंग्/वर्तमान-सीमितीकरणम् : प्रथमं उच्च-समवर्ती-द्वारा उत्पन्नान् लेनदेन-सन्देशान् सन्देश-पङ्क्तौ अल्पकालं यावत् संग्रहयन्तु, ततः पृष्ठ-अन्त-सेवा स्वस्य क्षमतानुसारं शनैः शनैः एतान् सन्देशान् उपभोजयिष्यति, अतः पृष्ठभागस्य प्रत्यक्षपराजयं परिहरति -अन्त सेवा।
- सिस्टम् युग्मनं न्यूनीकरोतु : मॉड्यूल् मध्ये प्रत्यक्षं आह्वानं नास्ति, अतः मॉड्यूल् योजयित्वा परिवर्तनं वा अन्येषु मॉड्यूलेषु न्यूनः प्रभावः भविष्यति ।
उद्यम अनुप्रयोग परिदृश्य：
- वितरितव्यवहारं कार्यान्वितम् : वितरितव्यवहारस्य एकं समाधानं MQ लेनदेनम् अस्ति, यत् अधिकांशेन MQ द्वारा समर्थितम् अस्ति ।लेनदेनं इवेण्ट् स्ट्रीमिंग् अनुप्रयोगानाम् अनुमतिं ददातिउपभोक्तुं, संसाधयति, उत्पादयतिसम्पूर्णा सन्देशप्रक्रिया परमाणुक्रियारूपेण परिभाषिता अस्ति ।
- अनुक्रमस्य गारण्टी: एतादृशानां परिदृश्यानां कृते उपयुक्तः यस्य आँकडाक्रमे सख्ताः आवश्यकताः सन्ति, अधिकांशतः MQ द्वारा समर्थितः।
- विलम्ब/समयसंसाधनम् : सन्देशः प्रेषणानन्तरं तत्क्षणमेव न उपभोक्तः, अपितु निर्दिष्टसमयानन्तरं उपभोक्तः भविष्यति ।
- आँकडाधाराप्रक्रियाकरणम् : वितरितप्रणालीभिः उत्पन्नानां विशालदत्तांशप्रवाहानाम् कृते, यथा व्यावसायिकवृत्तलेखाः, निगरानीयदत्तांशः, उपयोक्तृव्यवहारः इत्यादयः, सन्देशपङ्क्तिः एतान् आँकडान् वास्तविकसमये अथवा बैचरूपेण संग्रहीतुं शक्नोति तथा च तान् बृहत्दत्तांशसंसाधनइञ्जिन् मध्ये आयातयितुं शक्नोति कुशलं आँकडासंसाधनं प्राप्तुं धाराप्रबन्धनं प्रसंस्करणं च।
सन्देशपङ्क्तयः उपयुज्य काः समस्याः आनयन्ति ?
प्रणाली उपलब्धता न्यूनीकृता : १. प्रणाल्याः उपलब्धता किञ्चित्पर्यन्तं न्यूनीभवति यत् भवन्तः किमर्थम् एतत् वदन्ति? MQ इत्यत्र सम्मिलितुं पूर्वं भवद्भिः सन्देशहानिः अथवा MQ इत्यस्य दूरभाषः इत्यादीनि चिन्तयितुं न प्रयोजनम् तथापि MQ इत्यस्य परिचयस्य अनन्तरं भवन्तः तस्य विषये चिन्तयितुं प्रवृत्ताः सन्ति!
प्रणालीजटिलता वर्धिता : १. MQ इत्यत्र सम्मिलितस्य अनन्तरं भवद्भिः सुनिश्चितं कर्तव्यं यत् सन्देशानां उपभोगः पुनः पुनः न भवति, सन्देशहानिः नियन्त्रयितुं, सन्देशवितरणस्य क्रमं सुनिश्चितं कर्तव्यम्, अन्ये च विषयाः!
स्थिरतायाः विषयाः : १. मया उपरि उक्तं यत् सन्देशपङ्क्तिः अतुल्यकालिकं कार्यान्वयनम् प्राप्तुं शक्नोति, सन्देशपङ्क्तौ आनीतः अतुल्यकालिकः खलु प्रणालीप्रतिसादवेगं सुधारयितुं शक्नोति परन्तु यदि सन्देशस्य वास्तविकः उपभोक्ता सन्देशस्य सम्यक् उपभोगं न करोति स्म तर्हि किम्? एतेन दत्तांशस्य असङ्गतिः भविष्यति!
सामान्यसन्देशपङ्क्तयः
काफ्का
काफ्का लिङ्क्डइन इत्यस्य मुक्तस्रोतसंस्करणम् अस्तिवितरित स्ट्रीमिंग मञ्च, अपाचे इत्यस्य शीर्षस्तरीयः परियोजना अभवत् ।
स्ट्रीमिंग् मञ्चस्य त्रीणि प्रमुखकार्यं भवति : १.
- सन्देशपङ्क्तिः: सन्देशप्रवाहं प्रकाशयन्तु सदस्यतां च लभन्ते एतत् कार्यं सन्देशपङ्क्तिसदृशं भवति, अतः एव काफ्का सन्देशपङ्क्तिरूपेण अपि वर्गीकृतः अस्ति ।
- अभिलेखसन्देशधाराणां दोषसहिष्णुः निरन्तरभण्डारणम्: काफ्का डिस्कं प्रति सन्देशान् स्थास्यति, प्रभावीरूपेण सन्देशहानिस्य जोखिमं परिहरति।
- स्ट्रीमिंग प्रोसेसिंग मञ्चः : १. सन्देशानां प्रकाशनसमये संसाधितुं काफ्का सम्पूर्णं धारासंसाधनपुस्तकालयं प्रदाति ।
रॉकेटएमक्यू
RocketMQ अलीबाबा द्वारा मुक्तस्रोतः क्लाउड्-देशीयः "सन्देशः, घटना, धारा" इति वास्तविकसमयस्य आँकडासंसाधनमञ्चः अस्ति यत् एतत् काफ्का इत्यस्य आधारेण आकर्षयति तथा च शीर्षस्तरीयः अपाचे परियोजना अभवत् ।
RocketMQ इत्यस्य मूलविशेषताः (RocketMQ इत्यस्य आधिकारिकजालस्थलात् उद्धृतम्):
- मेघदेशी: मेघेन सह जन्म, मेघेन सह वर्धमानः, असीमितलोचनाकारः, K8s मैत्रीपूर्णः
- उच्च-थ्रूपुट् : खरब-स्तरीय-थ्रूपुट् गारण्टीकृतम्, सूक्ष्मसेवा-बृहत्-आँकडा-परिदृश्ययोः पूर्तिः ।
- धाराप्रक्रियाकरणम् : हल्कं, अत्यन्तं स्केल-करणीयं, उच्च-प्रदर्शनं, विशेषता-समृद्धं च धारा-गणना-इञ्जिनं प्रदाति ।
- वित्तीयश्रेणी : वित्तीयश्रेणीस्थिरता, यस्याः व्यापकरूपेण मूलव्यवहारलिङ्केषु उपयोगः भवति ।
- न्यूनतमवास्तुकला: शून्यबाह्यनिर्भरता, साझा-किमपि नास्ति वास्तुकला।
- पर्यावरण-अनुकूलः : सूक्ष्मसेवाः, वास्तविकसमय-गणना, आँकडा-सरोवरः इत्यादिभिः परितः पारिस्थितिकीतन्त्रैः सह निर्विघ्नतया सम्बद्धः भवति ।
शशःMQ
RocketMQ अलीबाबा द्वारा मुक्तस्रोतः क्लाउड्-देशीयः "सन्देशः, घटना, धारा" इति वास्तविकसमयस्य आँकडासंसाधनमञ्चः अस्ति यत् एतत् काफ्का इत्यस्य आधारेण आकर्षयति तथा च शीर्षस्तरीयः अपाचे परियोजना अभवत् ।
RocketMQ इत्यस्य मूलविशेषताः (RocketMQ इत्यस्य आधिकारिकजालस्थलात् उद्धृतम्):
- मेघदेशी: मेघेन सह जन्म, मेघेन सह वर्धमानः, असीमितलोचनाकारः, K8s मैत्रीपूर्णः
- उच्च-थ्रूपुट् : खरब-स्तरीय-थ्रूपुट् गारण्टीकृतम्, सूक्ष्मसेवा-बृहत्-आँकडा-परिदृश्ययोः पूर्तिः ।
- धाराप्रक्रियाकरणम् : हल्कं, अत्यन्तं स्केल-करणीयं, उच्च-प्रदर्शनं, विशेषता-समृद्धं च धारा-गणना-इञ्जिनं प्रदाति ।
- वित्तीयश्रेणी : वित्तीयश्रेणीस्थिरता, यस्याः व्यापकरूपेण मूलव्यवहारलिङ्केषु उपयोगः भवति ।
- न्यूनतमवास्तुकला: शून्यबाह्यनिर्भरता, साझा-किमपि नास्ति वास्तुकला।
- पर्यावरण-अनुकूलः : सूक्ष्मसेवाः, वास्तविकसमय-गणना, आँकडा-सरोवरः इत्यादिभिः परितः पारिस्थितिकीतन्त्रैः सह निर्विघ्नतया सम्बद्धः भवति ।
पल्सर
पल्सरः अग्रिम-पीढीयाः मेघ-देशीयः वितरितः सन्देशप्रवाह-मञ्चः अस्ति ।
पल्सरः सन्देशप्रसारणं, भण्डारणं, हल्कं कार्यात्मकं कम्प्यूटिंग् च एकीकृत्य बहु-किरायेदारानाम्, निरन्तरं भण्डारणस्य, बहु-मशीन-कक्षस्य पार-क्षेत्रस्य आँकडा-प्रतिकृतिं च समर्थयति , तथा उच्चप्रदर्शनम् ।
पल्सरस्य मुख्यविशेषताः निम्नलिखितरूपेण सन्ति (आधिकारिकजालस्थलात् उद्धृतम्) ।
- मेघ-देशीयवितरितसन्देशप्रवाहमञ्चस्य अग्रिमपीढी अस्ति ।
- पल्सरस्य एकः उदाहरणः मूलतः बहुविधसमूहानां समर्थनं करोति तथा च सङ्गणककक्षेषु समूहानां मध्ये सन्देशप्रतिकृतिं निर्विघ्नतया सम्पूर्णं कर्तुं शक्नोति ।
- अत्यन्तं न्यूनविमोचनविलम्बः अन्त्यतः अन्तः विलम्बः च ।
- निर्विघ्नतया १० लक्षाधिकविषयेषु विस्तारं करोति ।
- जावा, गो, पायथन् तथा सी++ इत्येतयोः समर्थनं कुर्वन् सरलः क्लायन्ट् एपिआइ ।
- विषयाणां कृते बहुविधसदस्यताविधिः (अनन्यः, साझाः, विफलता च) ।
- Apache BookKeeper द्वारा प्रदत्तस्य निरन्तरसन्देशसञ्चयतन्त्रस्य माध्यमेन सन्देशवितरणस्य गारण्टी भवति ।
- हल्के सर्वररहितगणनारूपरेखा Pulsar Functions धारा-देशीयदत्तांशसंसाधनं कार्यान्वयति ।
- Pulsar IO, Pulsar Functions इत्यस्य आधारेण सर्वररहितः संयोजकरूपरेखा, Apache Pulsar इत्यस्य अन्तः बहिः च आँकडानां स्थानान्तरणं सुलभं करोति ।
- स्तरीयभण्डारणं यदा आँकडा बासी भवति तदा उष्णभण्डारणात् शीत/दीर्घकालीनभण्डारणं (यथा S3, GCS) यावत् आँकडान् अवतारयितुं शक्नोति ।
उपर्युक्तस्य MQ इत्यस्य तुलना : १.
| विपरीतदिशा | संक्षेपः |
|---|
| थ्रूपुट | 10,000-स्तरस्य ActiveMQ तथा RabbitMQ (ActiveMQ इत्यस्य सर्वाधिकं दुष्टं प्रदर्शनं भवति) इत्यस्य थ्रूपुट् 100,000-स्तरस्य अथवा मिलियन-स्तरीयस्य RocketMQ तथा Kafka इत्यस्मात् अपि एकक्रमेण न्यूनं भवति |
| उपलब्धता | सर्वे उच्चा उपलब्धतां प्राप्तुं शक्नुवन्ति। ActiveMQ तथा RabbitMQ इत्येतौ द्वौ अपि उच्च-उपलब्धतां प्राप्तुं master-slave आर्किटेक्चर इत्यस्य आधारेण स्तः । RocketMQ वितरितवास्तुकलायां आधारितम् अस्ति । काफ्का अपि वितरितः अस्ति, एकस्य दत्तांशस्य बहुप्रतियाः सह यदि कतिपयानि यन्त्राणि अधः गच्छन्ति तर्हि दत्तांशहानिः अनुपलब्धता वा न भविष्यति । |
| समयबद्धता | RabbitMQ Erlang इत्यस्य आधारेण विकसितम् अस्ति, अतः अस्य सशक्ताः समवर्तीक्षमता, अत्यन्तं उत्तमं प्रदर्शनं, अत्यन्तं न्यूनविलम्बता, माइक्रोसेकेण्ड् स्तरं प्राप्तुं, अन्ये च ms स्तरे सन्ति |
| कार्य समर्थन | पल्सर इत्यस्य अधिकव्यापककार्यं भवति तथा च बहु-किरायेदारी, बहु-उपभोग-प्रतिरूपं, स्थायित्वं च समर्थयति । |
| सन्देशः नष्टः | ActiveMQ तथा RabbitMQ इत्येतयोः हानिः अतीव न्यूना भवति, तथा च Kafka, RocketMQ तथा Pulsar इत्येतयोः सैद्धान्तिकरूपेण 0 हानिः प्राप्तुं शक्यते । |
सारांशः - १.
- यद्यपि RabbitMQ थ्रूपुट् इत्यस्य दृष्ट्या काफ्का, रॉकेटएमक्यू, पल्सर इत्येतयोः अपेक्षया किञ्चित् न्यूनं भवति, यतः एतत् एर्लाङ्ग इत्यस्य आधारेण विकसितम् अस्ति, तथापि अस्य सशक्ताः समवर्तीक्षमता, अत्यन्तं उत्तमं प्रदर्शनं, अत्यन्तं न्यूनविलम्बता च अस्ति, यत् माइक्रोसेकेण्ड् स्तरं प्राप्नोति परन्तु यतः RabbitMQ एर्लाङ्ग इत्यस्य आधारेण विकसितः अस्ति, अतः एर्लाङ्ग् स्रोतसङ्केतस्तरस्य शोधं अनुकूलनं च कर्तुं कतिपयेषु घरेलुकम्पनीषु शक्तिः अस्ति । यदि व्यावसायिकपरिदृश्ये अत्यधिकाः समवर्ती आवश्यकताः (100,000 अथवा एकलक्षस्तराः) नास्ति, तर्हि RabbitMQ एतेषु सन्देशपङ्क्तौ भवतः प्रथमपरिचयः भवितुम् अर्हति
- RocketMQ तथा Pulsar च दृढं स्थिरतां समर्थयन्ति तथा च उच्चसन्देशसङ्गतिआवश्यकतायुक्तेषु परिदृश्येषु उपयोक्तुं शक्यन्ते ।
- RocketMQ अलीबाबा द्वारा निर्मितम् अस्ति तथा च जावा मुक्तस्रोत परियोजना अस्ति वयं प्रत्यक्षतया स्रोतसङ्केतं पठितुं शक्नुमः ततः अस्माकं स्वकीयायाः कम्पनीयाः MQ इत्यस्य अनुकूलनं कर्तुं शक्नुमः अलीबाबा इत्यस्य वास्तविकव्यापारपरिदृश्येषु परीक्षणं कृतम् अस्ति।
- काफ्का इत्यस्य लक्षणं वस्तुतः अतीव स्पष्टं भवति, अर्थात् केवलं न्यूनानि कोर-कार्यं प्रदाति, परन्तु अति-उच्च-थ्रूपुट्, ms-स्तरस्य विलम्बं, अत्यन्तं उच्च-उपलब्धतां विश्वसनीयतां च प्रदाति, वितरणं च मनमानारूपेण विस्तारयितुं शक्यते तस्मिन् एव काले काफ्का इत्यस्य अति-उच्च-थ्रूपुट् सुनिश्चित्य अल्पसंख्याकानां विषयाणां समर्थनं सर्वोत्तमम् । काफ्का इत्यस्य एकमात्रं दोषं अस्ति यत् सन्देशानां सेवनं पुनः पुनः भवितुं शक्नोति, यस्य प्रभावः दत्तांशसटीकतायां भविष्यति तथा च बृहत् आँकडानां लॉगसङ्ग्रहस्य च क्षेत्रे एतत् किञ्चित् प्रभावं उपेक्षितुं शक्यते -समय गणना तथा लॉग। यदि बृहत् आँकडा क्षेत्रे वास्तविकसमयस्य गणना, लॉग संग्रहणं अन्ये च परिदृश्याः सन्ति तर्हि काफ्का इत्यस्य उपयोगः उद्योगस्य मानकः अस्ति, तथा च समुदायः अतीव सक्रियः अस्ति तथा च कदापि अश्लीलः न भविष्यति, तत् न वक्तव्यम् विश्वे अस्मिन् क्षेत्रे प्रायः वास्तविकः मानकः अस्ति ।
उद्यमस्तरस्य स्वविकसितस्य एम.क्यू
अलीबाबा स्वविकसित: रॉकेटएमक्यू, खरगोशएमक्यू
Tencent स्वविकसित: TDMQ, CMQ
बैडु स्वसंशोधन: अन्वेषणीय
बाइट स्वसंशोधनम् : BMQ
मेइतुआन् स्वविकसित: माफमा
Qunar.com द्वारा स्वविकसित: QMQ
JD.com स्वविकसित: JMQ
अन्ये अन्वेषणीयाः सन्ति। .
