प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

लेखकस्य विषये

ली किङ्ग्वाङ्ग - सॉफ्टवेयर विकास अभियंता, सिस्को

आमुख

नमस्कारः सर्वेभ्यः, मम नाम Li Qingwang, Cisco इत्यस्य सॉफ्टवेयर विकास अभियंता अस्ति। अस्माकं दलं प्रायः त्रयः वर्षाणि यावत् अस्माकं स्वस्य बृहत् आँकडा समयनिर्धारणमञ्चस्य निर्माणार्थं Apache DolphinScheduler इत्यस्य उपयोगं कुर्वन् अस्ति। प्रारम्भिकसंस्करणात् २.०.३ वर्तमानपर्यन्तं वयं समुदायेन सह मिलित्वा वर्धिताः अस्मत् अद्यत्वे भवद्भिः सह साझाः तान्त्रिकविचाराः ३.१.१ संस्करणस्य आधारेण गौणविकासाः सन्ति, येन समुदायसंस्करणे न समाविष्टाः केचन नूतनाः विशेषताः योजिताः

अद्य अहं साझां करिष्यामि यत् वयं कथं Apache DolphinScheduler इत्यस्य उपयोगं कृत्वा एकं बृहत् आँकडा मञ्चं निर्मातुं शक्नुमः तथा च अस्माकं कार्याणि AWS मध्ये प्रस्तुतं कर्तुं परिनियोजितुं च प्रक्रियायाः समये सम्मुखीकृताः केचन आव्हानाः अस्माकं समाधानं च।

वास्तुकला डिजाइनं समायोजनं च

प्रारम्भे अस्माकं सर्वाणि सेवानि Kubernetes (K8s) इत्यत्र परिनियोजिताः सन्ति, यत्र API, Alert, Zookeeper (ZK), Master, Worker इत्यादीनि घटकानि च सन्ति ।

बृहत् आँकडा संसाधन कार्यम्

वयं Spark, ETL, Flink इत्यादिषु कार्येषु गौणविकासं कृतवन्तः:

• ईटीएल कार्याणि: अस्माकं दलेन सरलं drag-and-drop इति साधनं विकसितम् अस्ति यस्य माध्यमेन उपयोक्तारः शीघ्रं ETL कार्याणि जनयितुं शक्नुवन्ति।
• स्पार्क समर्थन : प्रारम्भिकसंस्करणं केवलं Yarn इत्यत्र चालनस्य Spark इत्यस्य समर्थनं कृतवान्, वयं च गौणविकासद्वारा K8s इत्यत्र चालनस्य समर्थनं कृतवन्तः । समुदायस्य नवीनतमं संस्करणं सम्प्रति K8s इत्यत्र Spark इत्यस्य समर्थनं करोति ।
• *फ्लिंक माध्यमिक विकास: तथैव वयं Flink On K8s streaming tasks योजितवन्तः, तथैव SQL tasks तथा Python tasks On K8s इत्यस्य समर्थनं च योजितवन्तः ।

AWS इत्यत्र Support Job इति

यथा यथा व्यापारस्य विस्तारः भवति तथा च दत्तांशनीतयः आवश्यकाः भवन्ति तथा तथा वयं विभिन्नेषु प्रदेशेषु दत्तांशकार्यं चालयितुं आव्हानस्य सामनां कुर्मः । एतदर्थं अस्माभिः एकं आर्किटेक्चरं निर्मातव्यं यत् बहुविधक्लस्टर्-समर्थनं कर्तुं शक्नोति । अस्माकं समाधानस्य कार्यान्वयनप्रक्रियायाः च विस्तृतं वर्णनं अधः अस्ति ।

अस्माकं वर्तमान वास्तुकलायां केन्द्रीकृतनियन्त्रणसमाप्तिबिन्दुः, एकः Apache DolphinScheduler सेवा, यः बहुविधसमूहान् प्रबन्धयति । एते समूहाः स्थानीयदत्तांशनीतीनां, पृथक्करणस्य आवश्यकतानां च अनुपालनाय यूरोपीयसङ्घः, संयुक्तराज्यसंस्था च इत्यादिषु विभिन्नेषु भूगोलेषु वितरिताः सन्ति ।

वास्तुशिल्पसमायोजनम्

एतस्याः माङ्गल्याः पूर्तये वयं निम्नलिखितसमायोजनानि कृतवन्तः ।

• Apache DolphinScheduler सेवां केन्द्रीयरूपेण प्रबन्धितं कुर्वन्तु: अस्माकं DolphinScheduler सेवा अद्यापि स्वनिर्मिते Cisco Webex DC इत्यस्मिन् परिनियोजितम् अस्ति, प्रबन्धनकेन्द्रीकरणं स्थिरतां च निर्वाहयति।
• AWS EKS क्लस्टरस्य समर्थनं कुर्वन्तु : तस्मिन् एव काले वयं बहुविध AWS EKS क्लस्टर्-समर्थनार्थं अस्माकं आर्किटेक्चरस्य क्षमतां विस्तारितवन्तः । एवं प्रकारेण EKS क्लस्टरस्य उपरि चालितानां कार्याणां कृते नूतनाः व्यावसायिकाः आवश्यकताः अन्येषां Webex DC क्लस्टरानाम् संचालनं, आँकडापृथक्करणं च प्रभावितं विना पूर्तयितुं शक्यन्ते

अस्य डिजाइनस्य माध्यमेन वयं भिन्नव्यापार-आवश्यकतानां, तकनीकी-चुनौत्यस्य च लचीले प्रतिक्रियां दातुं शक्नुमः, तथा च आँकडा-पृथक्करणं नीति-अनुपालनं च सुनिश्चितं कर्तुं शक्नुमः ।

तदनन्तरं वयं Cisco Webex DC मध्ये कार्याणि चालयति समये Apache DolphinScheduler इत्यस्य तकनीकी कार्यान्वयनम् संसाधननिर्भरतां च कथं नियन्त्रयितुं शक्यते इति परिचयं करिष्यामः ।

संसाधननिर्भरताः भण्डारणं च

यतः अस्माकं सर्वाणि कार्याणि Kubernetes (K8s) इत्यत्र चाल्यन्ते, अतः अस्माकं कृते महत्त्वपूर्णं यत्:

डॉकर इमेज

• भण्डारणस्थानम्: पूर्वं अस्माकं सर्वाणि Docker चित्राणि Cisco इत्यत्र Docker भण्डारे संगृहीताः आसन् ।
• प्रतिबिम्बप्रबन्धनम्: एतानि चित्राणि वयं चालितानां विविधानां सेवानां कार्याणां च कृते आवश्यकं संचालनवातावरणं निर्भरतां च प्रददति।

संसाधनसञ्चिकाः आश्रयाः च

• Jar संकुलं तथा विन्याससञ्चिकाः इत्यादयः ।: वयं उपयोक्तुः Jar संकुलं सम्भाव्यनिर्भरविन्याससञ्चिकां च संग्रहीतुं संसाधनभण्डारणकेन्द्ररूपेण Amazon S3 Bucket इत्यस्य उपयोगं कुर्मः ।
• सुरक्षासंसाधनप्रबन्धनम्: यत्र आँकडाधारगुप्तशब्दाः, काफ्का-गोपनसूचनाः, उपयोक्तृनिर्भरकुञ्जीः इत्यादयः सन्ति एताः संवेदनशीलाः सूचनाः सिस्को-संस्थायाः Vault-सेवायां संगृह्यन्ते ।

सुरक्षितं प्रवेशं अधिकारप्रबन्धनं च

S3 Bucket इत्यस्य अभिगमनस्य आवश्यकतायाः कृते अस्माभिः AWS प्रमाणपत्राणि विन्यस्तुं प्रबन्धयितुं च आवश्यकम्:

IAM खाताविन्यासः

• प्रमाणपत्र प्रबन्धन: वयं AWS संसाधनानाम् अभिगमनस्य प्रबन्धनार्थं IAM खातानां उपयोगं कुर्मः, यत्र Access Keys तथा Secret Keys च सन्ति ।
• K8s एकीकरणम्: एताः प्रमाणपत्रसूचनाः Kubernetes Secret इत्यस्मिन् संगृहीताः सन्ति तथा च S3 Bucket इत्यत्र सुरक्षितरूपेण प्रवेशार्थं Api-Service इत्यनेन सन्दर्भिताः भवन्ति ।
• अनुमतिनियन्त्रणं संसाधनपृथक्करणं च: IAM खातानां माध्यमेन वयं आँकडासुरक्षां व्यावसायिकं अनुपालनं च सुनिश्चित्य सूक्ष्मकणिकायुक्तं अनुमतिनियन्त्रणं कार्यान्वितुं शक्नुमः।

IAM खाताप्रवेशकुंजीनां कृते अवधिसमाप्तिसमस्याः प्रतिकारपरिहाराः च

AWS संसाधनानाम् प्रबन्धनार्थं IAM खातानां उपयोगस्य प्रक्रियायां वयं अभिगमकुञ्जीसमाप्तेः समस्यायाः सामनां कुर्मः । अत्र अधिकं ज्ञायते यत् वयम् अस्य आव्हानस्य निवारणं कथं कुर्मः।

अभिगम कुञ्जी समाप्ति मुद्दा

• कील अवधि: IAM खातेः AWS कुञ्जी प्रायः प्रत्येकं 90 दिवसेषु स्वयमेव समाप्तुं सेट् भवति, यत् प्रणाल्याः सुरक्षां वर्धयितुं भवति ।
• मिशन प्रभाव: एकदा कुञ्जीनां अवधिः समाप्तः भवति तदा AWS संसाधनानाम् अभिगमनाय एतेषु कुञ्जीषु अवलम्बन्ते ये सर्वे कार्याः ते कर्तुं असमर्थाः भविष्यन्ति, येन व्यावसायिकनिरन्तरताम् निर्वाहयितुम् अस्माभिः कुञ्जीनां समये अद्यतनीकरणं करणीयम् अस्ति

एतस्याः स्थितिः प्रतिक्रियारूपेण वयं कार्यस्य नियमितं पुनः आरम्भं स्थापयामः तथा च तत्सम्बद्धं निरीक्षणं स्थापयामः यदि अवधिसमाप्तिसमयात् पूर्वं AWS खाते समस्या अस्ति, तर्हि अस्माकं तत्सम्बद्धान् विकासकान् किञ्चित् प्रसंस्करणं कर्तुं सूचयितुं आवश्यकम्

AWS EKS समर्थनं कुर्वन्तु

यथा यथा अस्माकं व्यवसायः AWS EKS -पर्यन्तं विस्तारं प्राप्नोति तथा तथा अस्माकं विद्यमान-वास्तुकला-सुरक्षा-उपायानां समायोजनानां श्रृङ्खलां कर्तुं आवश्यकम् अस्ति ।

यथा, इदानीं एव उल्लिखितं Docker इमेज इव वयं पूर्वं Cisco इत्यस्य स्वस्य Docker repo इत्यत्र स्थापयामः, अतः अधुना Docker इमेज् ECR इत्यत्र स्थापयितुं आवश्यकम् ।

बहुविध S3 बाल्टी समर्थन

AWS क्लस्टरस्य विकेन्द्रीकृतप्रकृतेः कारणतः तथा च विभिन्नव्यापाराणां आँकडापृथक्करणस्य आवश्यकतायाः कारणात्, भिन्न-भिन्न-क्लस्टरानाम् आँकडा-भण्डारणस्य आवश्यकतां पूर्तयितुं अस्माकं बहुविध-S3 Buckets-समर्थनस्य आवश्यकता वर्तते:

• समूहस्य लोटायाश्च पत्राचारः: प्रत्येकं क्लस्टरं स्वस्य तत्सम्बद्धं S3 Bucket -पर्यन्तं प्रवेशं करिष्यति यत् आँकडा-स्थानीयतां अनुपालनं च सुनिश्चितं करिष्यति ।
• रणनीतिं परिवर्तयतु: अस्माकं भण्डारणप्रवेशनीतिं समायोजयितुं आवश्यकं यत् बहुभ्यः S3 बाल्टीभ्यः आँकडानां पठनस्य लेखनस्य च समर्थनं कर्तुं भिन्नव्यापारपक्षेभ्यः स्वस्य तत्सम्बद्धानां S3 बाल्टीनां अभिगमनस्य आवश्यकता वर्तते।

गुप्तशब्दप्रबन्धनसाधनयोः परिवर्तनम्

सुरक्षां सुधारयितुम् वयं Cisco इत्यस्य स्वयमेव निर्मितस्य Vault सेवातः AWS इत्यस्य Secrets Manager (ASM) इत्यत्र प्रवासं कृतवन्तः:

• एएसएम इत्यस्य उपयोगः: ASM AWS संसाधनानाम् गुप्तशब्दानां कुञ्जीनां च प्रबन्धनार्थं अधिकं एकीकृतं समाधानं प्रदाति ।

वयं Pod इत्यस्य सुरक्षां वर्धयितुं IAM Role and Service Account इत्यस्य उपयोगस्य पद्धतिं स्वीकृतवन्तः:

• IAM Role and Policy रचयन्तु: प्रथमं IAM Role निर्माय तस्मिन् आवश्यकानि नीतयः बाध्यं कुर्वन्तु येन सुनिश्चितं भवति यत् केवलं आवश्यकाः अनुमतिः एव प्रदत्ताः भवन्ति।
• K8s सेवा खाते बाइंड करें: ततः Kubernetes Service Account रचयित्वा IAM Role इत्यनेन सह सम्बद्धं कुर्वन्तु ।
• फली अनुमति एकीकरण: Pod चालयति समये, Service Account इत्यनेन सह सम्बद्ध्य, Pod IAM Role इत्यस्य माध्यमेन प्रत्यक्षतया आवश्यकानि AWS प्रमाणपत्राणि प्राप्तुं शक्नोति, तस्मात् आवश्यकानि AWS संसाधनं प्राप्तुं शक्नोति

एते समायोजनानि न केवलं अस्माकं प्रणाल्याः मापनीयतां लचीलतां च सुदृढां कुर्वन्ति, अपितु समग्रसुरक्षावास्तुकलाम् अपि सुदृढां कुर्वन्ति येन सुनिश्चितं भवति यत् AWS वातावरणे संचालनं कुशलं सुरक्षितं च भवति तत्सह, कीलानां स्वचालितसमाप्तिः, पुनः आरम्भस्य आवश्यकता च पूर्वसमस्यां अपि परिहरति ।

संसाधनप्रबन्धनस्य भण्डारणप्रक्रियाणां च अनुकूलनं कुर्वन्तु

परिनियोजनप्रक्रियायाः सरलीकरणाय वयं गौणपारगमनस्य स्थाने Docker प्रतिबिम्बं प्रत्यक्षतया ECR प्रति धक्कायितुं योजनां कुर्मः:

• प्रत्यक्षतया धक्कायन्तु: वर्तमानपैकेजिंगप्रक्रियायां परिवर्तनं कुर्वन्तु येन Docker इमेज निर्मितस्य अनन्तरं प्रत्यक्षतया ECR प्रति धक्कायते, येन समयविलम्बः सम्भाव्यदोषबिन्दवः च न्यूनीभवन्ति।

कार्यान्वयनम् परिवर्तयतु

• कोड स्तर समायोजनम्: वयं DolphinScheduler कोडं परिवर्तयामः यत् एतत् बहुविध S3 Clients समर्थयितुं सक्षमं करोति तथा च बहुविध S3Clients कृते cache management योजितवान्।
• संसाधनप्रबन्धन UI समायोजनम्: उपयोक्तृभ्यः अन्तरफलकस्य माध्यमेन कार्याणां कृते भिन्नानि AWS Bucket नामानि चयनं कर्तुं शक्नोति ।
• संसाधनप्रवेशः: परिवर्तिता Apache DolphinScheduler सेवा अधुना बहुविध S3 Buckets -इत्येतत् अभिगन्तुं शक्नोति, येन भिन्न-भिन्न AWS क्लस्टर्-मध्ये आँकडानां लचील-प्रबन्धनस्य अनुमतिः भवति ।

AWS संसाधनानाम् प्रबन्धनं अनुमतिपृथक्करणं च

AWS Secrets Manager (ASM) एकीकृत्य 1.1.

वयं AWS Secrets Manager इत्यस्य समर्थनार्थं Apache DolphinScheduler इत्यस्य विस्तारं कृतवन्तः, येन उपयोक्तारः भिन्न-भिन्न-क्लस्टर-प्रकारेषु रहस्यं चयनं कर्तुं शक्नुवन्ति:

एएसएम कार्यात्मक एकीकरण

• उपयोक्तृ-अन्तरफलक-सुधाराः: DolphinScheduler इत्यस्य उपयोक्तृ-अन्तरफलके भिन्न-भिन्न-गुप्त-प्रकारस्य प्रदर्शन-चयन-कार्यं योजितं भवति ।
• स्वचालितं कुञ्जीप्रबन्धनम्: उपयोक्तृ-चयनितं रहस्यं रनटाइम्-काले वास्तविक-Pod वातावरणचरस्य कृते रक्षति इति सञ्चिकामार्गस्य नक्शाङ्कनं करोति, कुञ्जिकायाः ​​सुरक्षितं उपयोगं सुनिश्चितं करोति ।

गतिशीलसंसाधनविन्यासः आरम्भसेवा च (Init Container)

AWS संसाधनानाम् अधिकलचीलतया प्रबन्धनाय आरम्भाय च वयं Init Container इति सेवां कार्यान्वितवन्तः:

• संसाधन खींचना: Init Container स्वयमेव उपयोक्त्रा विन्यस्तं S3 संसाधनं आकर्षयिष्यति तथा च Pod इत्यस्य निष्पादनात् पूर्वं निर्दिष्टे निर्देशिकायां स्थापयिष्यति ।
• कुञ्जी तथा विन्यास प्रबन्धन: विन्यासानुसारं Init Container ASM मध्ये गुप्तशब्दसूचनाः परीक्ष्य आकर्षयिष्यति, ततः सञ्चिकायां संग्रहयिष्यति तथा च Pod द्वारा उपयोगाय वातावरणचरद्वारा मैप् करिष्यति

संसाधननिर्माणे प्रबन्धने च टेराफॉर्मस्य अनुप्रयोगः

वयं Terraform इत्यस्य माध्यमेन AWS संसाधनानाम् विन्यासः प्रबन्धनप्रक्रियाञ्च स्वचालितं कृतवन्तः, संसाधनविनियोगं अनुमतिसेटिंग्स् च सरलीकृतवन्तः:

• स्वचालित संसाधन विन्यास: S3 Bucket तथा ​​ECR Repo इत्यादीनां आवश्यकानां AWS संसाधनानाम् निर्माणार्थं Terraform इत्यस्य उपयोगं कुर्वन्तु ।
• IAM नीतिः भूमिकाप्रबन्धनं च: प्रत्येकं व्यावसायिक-एककस्य आवश्यकतानुसारं संसाधनानाम् आग्रहेण प्रवेशः सुनिश्चित्य IAM नीतयः भूमिकाः च स्वयमेव निर्मायताम्।

अनुमतिपृथक्करणं सुरक्षा च

वयं परिष्कृतानां अनुमतिपृथक्करणरणनीतयः उपयुञ्ज्महे यत् एतत् सुनिश्चितं भवति यत् भिन्नाः व्यावसायिक-एककाः स्वतन्त्र-नामस्थानेषु कार्यं कुर्वन्ति, संसाधन-प्रवेश-द्वन्द्वान् सुरक्षा-जोखिमान् च परिहरन्ति:

कार्यान्वयनविवरणम्

• सेवालेखस्य निर्माणं बाध्यीकरणं च: प्रत्येकस्य व्यावसायिक-एककस्य कृते स्वतन्त्रं सेवा-लेखं निर्माय IAM भूमिकायाः ​​सह बन्धनं कुर्वन्तु।
• नामस्थानपृथक्करणम्: प्रत्येकं सेवालेखसञ्चालनं निर्दिष्टनामस्थानस्य अन्तः IAM भूमिकायाः ​​माध्यमेन स्वस्य तत्सम्बद्धान् AWS संसाधनं प्राप्नोति ।

क्लस्टरसमर्थने अनुमतिनियन्त्रणे च सुधारः

क्लस्टर प्रकार विस्तार

वयं नूतनं क्षेत्रं योजितवन्तः cluster type, विभिन्नप्रकारस्य K8S क्लस्टरस्य समर्थनार्थं, येषु न केवलं मानक Webex DC क्लस्टरः AWS EKS क्लस्टरः च समाविष्टाः सन्ति, अपितु उच्चतरसुरक्षाआवश्यकताभिः सह विशिष्टक्लस्टराः अपि समर्थयन्ति:

समूहप्रकारप्रबन्धनम्

• क्लस्टर प्रकार क्षेत्र:प्रवर्तितद्वाराcluster typeक्षेत्रेषु, वयं भिन्न-भिन्न-K8S-समूहानां समर्थनं सहजतया प्रबन्धयितुं विस्तारयितुं च शक्नुमः ।
• कोड स्तर अनुकूलन: विशिष्टसमूहानां अद्वितीयआवश्यकतानां आधारेण वयं कोड-स्तरीयं परिवर्तनं कर्तुं शक्नुमः यत् एतेषु क्लस्टर्-मध्ये कार्याणि चालयति समये सुरक्षा-विन्यास-आवश्यकताः पूर्यन्ते इति सुनिश्चितं भवति

वर्धिता अनुमतिनियन्त्रणप्रणाली (Auth system) २.

वयं Auth-प्रणालीं विशेषतया सूक्ष्म-कणिका-अनुमति-नियन्त्रणाय विकसितवन्तः, यत्र परियोजनानां, संसाधनानाम्, नामस्थानानां च मध्ये अनुमति-प्रबन्धनं समाविष्टम् अस्ति:

अधिकार प्रबन्धन कार्य

• परियोजना तथा संसाधन अनुमतियाँ: उपयोक्तारः परियोजनायाः आयामस्य माध्यमेन अनुमतिं नियन्त्रयितुं शक्नुवन्ति एकवारं तेषां परियोजनायाः अनुमतिः भवति तदा तेषां परियोजनायाः अन्तर्गतं सर्वेषु संसाधनेषु प्रवेशः भवति ।
• नामस्थान अनुमति नियन्त्रण: सुनिश्चितं कुर्वन्तु यत् विशिष्टदलः केवलं निर्दिष्टे नामस्थाने एव स्वस्य परियोजनायाः कार्याणि चालयितुं शक्नोति, तस्मात् संसाधनपृथक्करणं चालयितुं सुनिश्चितं भवति।

यथा, दलं A केवलं स्वस्य A नामस्थाने कतिपयानि परियोजनाकार्यं चालयितुं शक्नोति, उदाहरणार्थं, उपयोक्तुः A इत्यस्य नामस्थाने कार्याणि चालयितुं न शक्नोति ।

AWS संसाधनप्रबन्धनम् अनुमतिनुप्रयोगः च

वयं AWS संसाधनानाम् अनुमतिं प्रबन्धयितुं अभिगमनियन्त्रणं च कर्तुं Auth प्रणालीं अन्यसाधनं च उपयुञ्ज्महे, संसाधनविनियोगं अधिकं लचीलं सुरक्षितं च कुर्मः:

• बहुविध AWS खाता समर्थनम्: Auth प्रणाल्यां, भवान् बहुविध AWS खातानि प्रबन्धयितुं शक्नोति तथा च भिन्नानि AWS संसाधनानि यथा S3 Bucket, ECR, ASM इत्यादीनि बाइण्ड् कर्तुं शक्नोति ।
• संसाधनमानचित्रणं अनुमतिप्रयोगः च: उपयोक्तारः विद्यमानानाम् AWS संसाधनानाम् नक्शाङ्कनं कर्तुं शक्नुवन्ति तथा च प्रणाल्यां अनुमतिनां कृते आवेदनं कर्तुं शक्नुवन्ति, येन ते कार्यं चालयति समये तेषां प्रवेशाय आवश्यकं संसाधनं सहजतया चयनं कर्तुं शक्नुवन्ति।

सेवा खाता प्रबन्धन एवं अनुमति बाध्यकारी

सेवालेखानां तेषां अनुमतिनां च उत्तमप्रबन्धनार्थं वयं निम्नलिखितकार्यं कार्यान्वितवन्तः ।

सेवा खाता बाध्यकारी एवं प्रबन्धन

• सेवा खातेः मध्ये एकमात्रः अन्तरः: सेवालेखं विशिष्टसमूहस्य, नामस्थानस्य, परियोजनानामस्य च माध्यमेन बाइण्ड् कृत्वा तस्य विशिष्टतां सुनिश्चितं कुर्वन्तु ।
• अनुमति बाध्यकारी अन्तरफलक: उपयोक्तारः अनुमतिनां सटीकनियन्त्रणं प्राप्तुं अन्तरफलके विशिष्टेषु AWS संसाधनेषु, यथा S3, ASM अथवा ECR, सेवालेखं बन्धयितुं शक्नुवन्ति ।

संचालनं संसाधनसमन्वयनं च सरलीकरोतु

अहं केवलं बहु उक्तवान्, परन्तु वास्तविकं संचालनं उपयोक्तृणां कृते तुल्यकालिकरूपेण सरलम् अस्ति सम्पूर्णा अनुप्रयोगप्रक्रिया वस्तुतः AWS वातावरणे Apache DolphinScheduler इत्यस्य उपयोक्तृअनुभवं अधिकं सुधारयितुम् अस्माभिः एकां श्रृङ्खला गृहीता अस्ति measures to परिचालनप्रक्रियाः सरलीकर्तुं संसाधनसमन्वयनक्षमतां वर्धयितुं च।

अहं भवतः कृते तस्य सारांशं ददामि- १.

सरलीकृतं उपयोक्तृ-अन्तरफलकं

DolphinScheduler इत्यस्मिन् उपयोक्तारः विशिष्टं क्लस्टरं नामस्थानं च सहजतया विन्यस्तुं शक्नुवन्ति यस्मिन् तेषां कार्याणि चालयन्ति:

क्लस्टर तथा नामस्थान चयन

• समूहचयनम्: कार्यं प्रस्तूयन्ते सति उपयोक्तारः यस्मिन् क्लस्टरे कार्यं चालयितुं इच्छन्ति तत् चिन्वितुं शक्नुवन्ति ।
• नामस्थानविन्यासः: चयनितक्लस्टरस्य आधारेण उपयोक्तुः नामस्थानं अपि निर्दिष्टुं आवश्यकं यस्मिन् कार्यं चाल्यते ।

सेवालेखं संसाधनचयनं च

• सेवा खाता प्रदर्शनम्: पृष्ठं स्वयमेव चयनितप्रकल्पस्य, समूहस्य, नामस्थानस्य च आधारेण तत्सम्बद्धं सेवालेखं प्रदर्शयिष्यति ।
• संसाधनप्रवेशविन्यासः: उपयोक्तारः ड्रॉप्-डाउन-सूचिकायाः ​​माध्यमेन सेवा-खातेन सह सम्बद्धं S3 Bucket, ECR पता, ASM कुञ्जी च चयनं कर्तुं शक्नुवन्ति ।

भविष्यस्य दृष्टिकोणम्

वर्तमान डिजाइनस्य विषये अद्यापि केचन क्षेत्राणि सन्ति येषां अनुकूलनं सुधारणं च कर्तुं शक्यते येन उपयोक्तृप्रस्तौतिं सुदृढं भवति तथा च संचालनं अनुरक्षणं च सुलभं भवति:

• इमेज पुश अनुकूलनम्: सिस्को इत्यस्य पारगमनपैकेजिंग् प्रक्रियां त्यक्त्वा संकुलं प्रत्यक्षतया ECR प्रति धक्कायितुं विचारयन्तु, विशेषतः EKS-विशिष्टप्रतिबिम्बसंशोधनार्थं।
• एक-क्लिक् समन्वयन-कार्यम्: वयं एक-क्लिक् समन्वयन-कार्यं विकसितुं योजनामस्ति यत् उपयोक्तारः S3 Bucket मध्ये संसाधन-सङ्कुलं अपलोड् कर्तुं शक्नुवन्ति तथा च पुनः पुनः अपलोड्-कार्यं न्यूनीकर्तुं अन्येषु S3 Buckets मध्ये स्वयमेव समन्वययितुं पेटीम् चेक् कुर्वन्तु
• स्वयमेव Auth प्रणालीं प्रति मैप् कुर्वन्तु: Terraform इत्यस्य माध्यमेन Aws संसाधनानाम् निर्माणानन्तरं, प्रणाली स्वयमेव एतान् संसाधनान् अनुमतिप्रबन्धनप्रणाल्यां मैप् करिष्यति यत् उपयोक्तारः संसाधनं मैन्युअल् रूपेण प्रविष्टुं न शक्नुवन्ति।
• अनुमति नियन्त्रण अनुकूलन: स्वचालितसंसाधनस्य अनुमतिप्रबन्धनस्य च माध्यमेन उपयोक्तृसञ्चालनं सरलं भवति, येन सेटअपस्य प्रबन्धनस्य च जटिलता न्यूनीभवति ।

एतेषां सुधारणानां सह वयं Apache DolphinScheduler इत्यस्य उपयोगेन उपयोक्तृभ्यः स्वकार्यं अधिकतया परिनियोजयितुं प्रबन्धयितुं च सहायतां कर्तुं अपेक्षयामः, भवेत् तत् Webex DC अथवा EKS इत्यत्र, संसाधनप्रबन्धनदक्षतां सुरक्षां च सुधारयितुम्।

अयं लेखः लिखितः अस्ति बेलुगा मुक्त स्रोत प्रौद्योगिकी प्रकाशनसमर्थनम् उपलब्धम् !