Technology sharing

Magna Data Basics: Principia Architecturae Key Yarn in Hadoop

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Articuli directorium

Clavis principia architecturae Yarn in Hadoop

1. Ad Yarn

2. tinctum architecturae

3. tinctum negotium currit processus

4. Characteres et usus missionum de Yarn tres subsidiorum schedulae


Clavis principia architecturae Yarn in Hadoop

1. Ad Yarn

Apache Hadoop Yarn (Alius tamen Reasource Negotiator, alius coordinator resource) est procurator subsidii adhibitus post Hadoop2.x versionem, quae potest providere unum resource administratione applicationis superioris tabulatorum.

2. tinctum architecturae

Yarn maxime composita ex ResourceManager, NodeManager, ApplicationMaster et Continens.

  • ResourceManager

ResourceManager est procurator centralis in botro Yarn et reus est destinatio subsidii et scheduling totius botri. ResourceManager responsabilis est ad statum NodeManager vigilantia nodis, collectiones copiarum aggregatarum, petitiones subsidiorum processus pro muneribus ab Cliente sublatis, et applicationis magisterii ad singulas applicationes incipiens et vigilantia.

  • NodeManager

NodeManager author est facultates administrandi (sicut memoria, CPU, etc.) in singulis nodi ac ResourceManager nuntiat. Cum ResourceManager vas (continens) assignat NodeManager, NodeManager est responsabilis ad initium continentis et vigilantiam continentis operationem. Praeterea, NodeManager etiam mandatum applicationis accipit ut continens (continens) pro qualibet applicatione incipiatur.

  • ApplicationMaster

Quaelibet applicationis cursus in Yarn incipiet congruentem Applicationem Magistri, quae responsabilis est applicandi facultates cum ResourceManager et applicatione opera administrandi. ApplicationMaster essentialiter continens. Resource scheduling a ResourceManager conficitur et a NodeManager inchoatur. Post ApplicationMaster incepit, applicatio ad facultates a ResourceManager applicabit ad applicationem startup Continentis et facultates in Continentem currit.

  • Continens

Continens continens principale unitatis exsecutionis in Yarn, ad currendum operas applicationis usus est. Rectum ambitus est qui codicem applicationem, clientelas et facultates ad operandum requisitas continet (memoria, CPU, orbis, retis). Quodlibet vas ad ApplicationMaster per ResourceManager assignatum est et in nodo respondente a NodeManager inchoata et administrata est. Usus subsidii continentis a NodeManager monitorem praebet et ResourceManager nuntiavit cum necesse est.

Core Yarn est administrationem ac munus scheduling functionum JobTracker in MR1 separare, quae ad effectum deducuntur processuum ResourceManager et ApplicationMaster respective applicatio operis scheduling, labor vigilantia, culpa tolerantia.

3. tinctum negotium currit processus

  1. Cum client munus MR ad Yarn submittit, MR ad facultates negotium (Split, figurationis, figurae involucrum, involucrum indicio) primum uploaded ad HDFS.

  2. Cliens applicatur ad ResourceManager incipere ApplicationMaster.

  3. Node Manager eliget NodeManager qui relative non occupatus est et nodi certiorem fecit ut ApplicationMaster (continens).

  4. Post ApplicationMaster incepit, negotium resource informationes MR ab HDFS ad loci detrahet, et postea pro opibus a ResourceManager ad initium MR Task applicabit.

  5. ResourceManager redit ad album resource ApplicationMaster.

  6. ApplicationMaster tunc notificat respondentem NodeManager incipere continens.

  7. Continens post inchoatum, in applicatione Magisterium relatus erit.

  8. ApplicationMaster munus continens ad currere mittit, et Negotium negotium logicae codicis quod scripsimus exsequitur.

4. Characteres et usus missionum de Yarn tres subsidiorum schedulae

  • FIFO scheduler (Primo-in-Pugnus-Out Scheduler) simplicissima schedula in Varn. FIFO Scheduler applicationes submissas ponet in primo-in, primo-e queue in ordine subiectionis. subsidia postulata summorum applicationis obvia sunt. Cum huiusmodi schedulae schedulae accessiones sunt, fieri potest ut applicatio cum magnis subsidiis requisitis omnes facultates gregarias occupet, alias applicationes obstruendas causando.

  • Facultas Scheduler (Capacitas Schduler) Est auxilium schedula default Yarn figuratum, multi-tenentes ad magnum botrum tuto communicandum permittens. Facultas cedularum subsidia configurandi multiplex ope- rum queues. Potes definire minimum et maximum ope- rum utibile pro qualibet ope queue. quaeque subsidia queue FIFO scheduling consilio belli interne adoptat.

  • Pulchra SchedulerEst opum scheduling methodus quae Yarn facultates ad singulas applicationes satis disponit. Haec methodus scheduling omnes applicationes ad aequas facultates per tempus obtinendas permittit.

Discrimen inter FIFO, Capacitas et Facultas schedulae pulchrae in Yarn hoc modo sunt:

Bis tincto resource schedulerFeaturesLorem scaena
FIFO scheduler

1. Simplex et facilis ad intellegendum nulla addita figura requiritur.

2. Applicationes currunt ordine subiciuntur (primo in primo sicco).

3. Non aptae racemis communicatis, unumquodque applicationis expectandum est donec vicem suam currat.

Racemi non-participati, missiones altae requisita non habent ordinem exsecutionis. Fere in ambitus productionis non adhibetur.

facultatem scheduler

(Per default in aperto fonte Yarn)

1. Concede plures consociationes ad facultates botri communicandas, et unaquaeque ordinatio quaenam sacratam habet.

2. Suscipe hierarchicam divisionem queuum et flexibilem figuram queue facultatum.

3. Potes circumscribere capacitatem maximam queue ac sublevare resource competition.

Missiones botri communicatae sunt, ubi multae consociationes vel iunctiones eiusdem glomeruli facultates communicant.

Pulchra scheduler

(Per CDH per default)

1. Satis collocant opes ad omnes applicationes currentes et aequam communicationem opum inter multiplices queues fovent.

2. Suscipe dynamicam creationem queues et applicationes positionem determinare per systemata regulae statuto.

3. Subventio subsidiorum preemptio functionis est ut aequa distributio opum curet.

1. Scenarios ubi plures usores vel consociationes necessariae sunt ad opes acquirendas satis in communi botro.

2. Environmenta cum altissimis requisitis pro subsidio queue-gradu moderatio et strategies subtiliter-granata scheduling.


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨