प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

लेख निर्देशिका

हडोप् इत्यस्मिन् सूतस्य प्रमुखाः वास्तुशिल्पसिद्धान्ताः

1. सूत्रस्य परिचयः

2. सूतवास्तुकला

3. सूत्रकार्यं चालनप्रक्रिया

4. Yarn इत्यस्य त्रयाणां संसाधननिर्मातृणां विशेषताः उपयोगपरिदृश्यानि च

---

हडोप् इत्यस्मिन् सूतस्य प्रमुखाः वास्तुशिल्पसिद्धान्ताः

1. सूत्रस्य परिचयः

Apache Hadoop Yarn (Yet Another Reasource Negotiator, another resource coordinator) इति Hadoop2.x संस्करणस्य अनन्तरं उपयुज्यमानः संसाधनप्रबन्धकः अस्ति, यः उच्चस्तरीय-अनुप्रयोगानाम् एकीकृतं संसाधन-प्रबन्धन-मञ्चं प्रदातुं शक्नोति

2. सूतवास्तुकला

Yarn मुख्यतया ResourceManager, NodeManager, ApplicationMaster, Container च इत्यनेन निर्मितम् अस्ति ।

• संसाधनप्रबन्धकः

ResourceManager Yarn क्लस्टरस्य केन्द्रीयप्रबन्धकः अस्ति तथा च सम्पूर्णस्य क्लस्टरस्य संसाधनविनियोगस्य समयनिर्धारणस्य च उत्तरदायी अस्ति । ResourceManager NodeManager नोड्सस्य स्थितिं निरीक्षितुं, क्लस्टरसंसाधनानाम् एकत्रीकरणाय, Client द्वारा प्रस्तुतकार्यस्य संसाधनानुरोधानाम् संसाधनं कर्तुं, प्रत्येकस्य अनुप्रयोगस्य कृते ApplicationMaster इत्यस्य आरम्भस्य निरीक्षणस्य च उत्तरदायी अस्ति

• नोडप्रबन्धकः

NodeManager प्रत्येकस्मिन् नोड् मध्ये संसाधनानाम् (यथा स्मृतिः, CPU इत्यादीनां) प्रबन्धनस्य उत्तरदायी भवति तथा च ResourceManager इत्यस्मै रिपोर्ट् करणं भवति । यदा ResourceManager NodeManager इत्यस्मै कंटेनरं (Container) नियुक्तं करोति तदा NodeManager इत्यस्य दायित्वं भवति यत् कंटेनरस्य आरम्भः भवति तथा च कंटेनरस्य संचालनस्य निरीक्षणं भवति तदतिरिक्तं, NodeManager प्रत्येकस्य Application कृते कंटेनरं (Container) आरभ्यतुं ApplicationMaster आदेशं अपि प्राप्नोति

• अनुप्रयोगमास्टर

Yarn मध्ये चालितं प्रत्येकं अनुप्रयोगं तत्सम्बद्धं ApplicationMaster आरभेत, यत् ResourceManager इत्यनेन सह संसाधनानाम् आवेदनं कर्तुं अनुप्रयोगकार्यं प्रबन्धयितुं च उत्तरदायी भवति ApplicationMaster अनिवार्यतया एकः कंटेनरः ResourceManager द्वारा क्रियते तथा च NodeManager द्वारा आरब्धं भवति, ResourceManager इत्यनेन एप्लिकेशनं चालयितुं संसाधनानाम् कृते आवेदनं भविष्यति, ApplicationMaster इत्यनेन तत्सम्बद्धेन NodeManager इत्यनेन सह सम्बद्धं भविष्यति Container इत्यस्य startup कृत्वा Container इत्यत्र चालितानां संसाधनानाम् प्रबन्धनं कुर्वन्तु ।

• पात्रम्

Container Container इति Yarn इत्यस्मिन् मूलभूतं निष्पादन-एककं भवति, यस्य उपयोगः अनुप्रयोग-कार्यं चालयितुं भवति यत् एतत् आभासी-वातावरणं भवति यस्मिन् अनुप्रयोग-सङ्केतः, निर्भरताः, संचालनाय आवश्यकाः संसाधनाः (स्मृतिः, CPU, डिस्क, संजाल) च सन्ति प्रत्येकं पात्रं ResourceManager द्वारा ApplicationMaster कृते नियुक्तं भवति तथा च NodeManager द्वारा तत्सम्बद्धे नोड् मध्ये आरब्धं प्रबन्धितं च भवति । पात्रस्य संसाधनस्य उपयोगः NodeManager द्वारा निरीक्षितः भवति तथा च आवश्यकतायां ResourceManager इत्यस्मै प्रतिवेदनं भवति ।

Yarn इत्यस्य मूलं MR1 इत्यस्मिन् JobTracker इत्यस्य संसाधनप्रबन्धनस्य कार्यनिर्धारणकार्यस्य च पृथक्करणं भवति, यत् क्रमशः ResourceManager तथा ApplicationMaster प्रक्रियाभिः कार्यान्वितं भवति ResourceManager सम्पूर्णस्य समूहस्य संसाधनप्रबन्धनस्य समयनिर्धारणस्य च उत्तरदायी भवति अनुप्रयोगकार्यनिर्धारणं, कार्यनिरीक्षणं, दोषसहिष्णुता च ।

3. सूत्रकार्यं चालनप्रक्रिया

1. यदा ग्राहकः Yarn कृते MR कार्यं प्रस्तौति तदा MR कार्यसंसाधनं (Split, संसाधनविन्यासः, Jar संकुलसूचना) प्रथमं HDFS मध्ये अपलोड् भविष्यति ।

2. क्लायन्ट् ApplicationMaster आरभ्य ResourceManager इत्यत्र प्रवर्तते ।

3. ResourceManager एकं NodeManager नोड् चयनं करिष्यति यत् तुल्यकालिकरूपेण व्यस्तं नास्ति तथा च ApplicationMaster (Container) आरभ्य नोड् सूचयिष्यति ।

4. ApplicationMaster आरब्धस्य अनन्तरं, एतत् HDFS तः स्थानीयं प्रति MR कार्यसंसाधनसूचनाम् अवतरणं करिष्यति, ततः MR कार्यस्य आरम्भार्थं ResourceManager तः संसाधनानाम् आवेदनं करिष्यति

5. ResourceManager संसाधनसूचीं ApplicationMaster प्रति प्रत्यागच्छति ।

6. ततः ApplicationMaster Container आरभ्य तत्सम्बद्धं NodeManager सूचयति ।

7. Container इत्यस्य आरम्भस्य अनन्तरं ApplicationMaster इत्यत्र विपरीतरूपेण पञ्जीकरणं भविष्यति ।

8. ApplicationMaster चालयितुं Container प्रति Task प्रेषयति, तथा च Task अस्माभिः लिखितस्य कोडस्य business logic निष्पादयति ।

4. Yarn इत्यस्य त्रयाणां संसाधननिर्मातृणां विशेषताः उपयोगपरिदृश्यानि च

• FIFO scheduler (प्रथम-मुष्टि-निर्गमन-निर्माता) , Yarn इत्यस्मिन् सरलतमः शेड्यूलरः । FIFO Scheduler प्रस्तुतानि आवेदनानि प्रस्तुतीकरणस्य क्रमेण प्रथम-प्रवेश-प्रथम-निर्गम-पङ्क्तौ स्थापयिष्यति यदा संसाधनानाम् आवंटनं भवति तदा प्रथमं कतारे शीर्ष-अनुप्रयोगाय संसाधनानाम् आवंटनं भविष्यति, ततः परं अग्रिम-अनुप्रयोगाय संसाधनानाम् आवंटनं भविष्यति शीर्ष-अनुप्रयोगस्य संसाधन-आवश्यकताः पूर्यन्ते, अनुप्रयोगः संसाधनानाम् आवंटनं करोति, इत्यादि । यदा एतादृशः समयनिर्धारकः संसाधनानाम् समयनिर्धारणं करोति तदा सम्भवति यत् बृहत् संसाधनानाम् आवश्यकतायुक्तः अनुप्रयोगः सर्वान् क्लस्टरसंसाधनानाम् आधिपत्यं करोति, येन अन्ये अनुप्रयोगाः अवरुद्धाः भवन्ति

• क्षमता अनुसूची (Capacity Schduler) ९. इदं Yarn मध्ये विन्यस्तं पूर्वनिर्धारितं संसाधननिर्माता अस्ति, यत् बहु-किरायेदारानाम् एकं विशालं समूहं सुरक्षिततया साझां कर्तुं शक्नोति । क्षमतानिर्धारकः बहुसंसाधनपङ्क्तिं विन्यस्तं करोति यत् भवान् प्रत्येकस्य संसाधनपङ्क्तिस्य न्यूनतमं अधिकतमं च उपयोगयोग्यं संसाधनानुपातं निर्दिष्टुं शक्नोति यदा संसाधनानाम् आवंटनं करोति तदा निष्क्रियसंसाधनानाम् प्राथमिकता न्यूनतमा भविष्यति यस्य "वास्तविकसंसाधन/बजटसंसाधनम्" अनुपातः भवति । प्रत्येकं संसाधनपङ्क्तिः आन्तरिकरूपेण FIFO समयनिर्धारणरणनीतिं स्वीकरोति ।

• निष्पक्ष अनुसूचीइयं संसाधननिर्धारणपद्धतिः अस्ति या प्रत्येकं अनुप्रयोगाय Yarn संसाधनं न्यायपूर्वकं आवंटयति एषा समयनिर्धारणपद्धतिः सर्वेषां अनुप्रयोगानाम् समयान्तरेण समानसंसाधनसाझेदारीम् प्राप्तुं शक्नोति।

Yarn इत्यस्मिन् FIFO, Capacity तथा Fair resource schedulers इत्येतयोः मध्ये अन्तरं निम्नलिखितम् अस्ति ।

---

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨