Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Artikelverzeichnis

Wichtige Architekturprinzipien von Yarn in Hadoop

1. Einführung in Garn

2. Garnarchitektur

3. Ausführungsprozess der Garnaufgabe

4. Eigenschaften und Nutzungsszenarien der drei Ressourcenplaner von Yarn

---

Wichtige Architekturprinzipien von Yarn in Hadoop

1. Einführung in Garn

Apache Hadoop Yarn (Yet Another Reasource Negotiator, ein weiterer Ressourcenkoordinator) ist ein Ressourcenmanager, der nach der Hadoop2.x-Version verwendet wird und eine einheitliche Ressourcenverwaltungsplattform für Anwendungen der oberen Ebene bereitstellen kann.

2. Garnarchitektur

Garn besteht hauptsächlich aus ResourceManager, NodeManager, ApplicationMaster und Container.

• Ressourcenmanager

ResourceManager ist der zentrale Manager im Yarn-Cluster und verantwortlich für die Ressourcenzuweisung und -planung des gesamten Clusters. ResourceManager ist für die Überwachung des Status von NodeManager-Knoten, das Sammeln von Clusterressourcen, die Verarbeitung von Ressourcenanforderungen für vom Client übermittelte Aufgaben sowie das Starten und Überwachen von ApplicationMaster für jede Anwendung verantwortlich.

• KnotenManager

NodeManager ist für die Verwaltung der Ressourcen (wie Speicher, CPU usw.) auf jedem Knoten und die Berichterstattung an ResourceManager verantwortlich. Wenn ResourceManager NodeManager einen Container (Container) zuweist, ist NodeManager für das Starten des Containers und die Überwachung des Containerbetriebs verantwortlich. Darüber hinaus erhält NodeManager auch den ApplicationMaster-Befehl zum Starten des Containers (Container) für jede Anwendung.

• Bewerbungsmaster

Jede in Yarn ausgeführte Anwendung startet einen entsprechenden ApplicationMaster, der für die Beantragung von Ressourcen mit dem ResourceManager und die Verwaltung von Anwendungsaufgaben verantwortlich ist. ApplicationMaster ist im Wesentlichen ein Container, der von ResourceManager durchgeführt und von NodeManager gestartet wird. Nachdem ResourceManager Ressourcen vom ResourceManager zugewiesen hat, stellt er eine Verbindung zum entsprechenden NodeManager her Starten des Containers und Verwalten der auf dem Container ausgeführten Ressourcen.

• Container

Container Container ist die grundlegende Ausführungseinheit in Yarn, die zum Ausführen von Anwendungsaufgaben verwendet wird. Es handelt sich um eine virtuelle Umgebung, die Anwendungscode, Abhängigkeiten und für den Betrieb erforderliche Ressourcen (Speicher, CPU, Festplatte, Netzwerk) enthält. Jeder Container wird vom ResourceManager dem ApplicationMaster zugeordnet und vom NodeManager auf dem entsprechenden Knoten gestartet und verwaltet. Die Ressourcennutzung des Containers wird von NodeManager überwacht und bei Bedarf an ResourceManager gemeldet.

Der Kern von Yarn besteht darin, die Ressourcenverwaltungs- und Aufgabenplanungsfunktionen von JobTracker in MR1 zu trennen, die jeweils von den ResourceManager- und ApplicationMaster-Prozessen implementiert werden. Der ResourceManager ist für die Ressourcenverwaltung und -planung des gesamten Clusters verantwortlich Anwendungsaufgabenplanung, Aufgabenüberwachung und Fehlertoleranz.

3. Ausführungsprozess der Garnaufgabe

1. Wenn der Client eine MR-Aufgabe an Yarn sendet, werden die MR-Aufgabenressourcen (Split, Ressourcenkonfiguration, Jar-Paketinformationen) zunächst in HDFS hochgeladen.

2. Der Client wendet sich an ResourceManager, um ApplicationMaster zu starten.

3. ResourceManager wählt einen NodeManager-Knoten aus, der relativ wenig ausgelastet ist, und benachrichtigt den Knoten, ApplicationMaster (Container) zu starten.

4. Nachdem der ApplicationMaster gestartet wurde, lädt er die Ressourceninformationen der MR-Aufgabe vom HDFS auf das lokale Gerät herunter und beantragt dann Ressourcen vom ResourceManager, um die MR-Aufgabe zu starten.

5. ResourceManager gibt die Ressourcenliste an ApplicationMaster zurück.

6. ApplicationMaster benachrichtigt dann den entsprechenden NodeManager, den Container zu starten.

7. Nachdem der Container gestartet wurde, wird er umgekehrt beim ApplicationMaster registriert.

8. ApplicationMaster sendet die Aufgabe zur Ausführung an den Container und die Aufgabe führt die Geschäftslogik des von uns geschriebenen Codes aus.

4. Eigenschaften und Nutzungsszenarien der drei Ressourcenplaner von Yarn

• FIFO-Scheduler (First-In-Fist-Out-Scheduler) , der einfachste Scheduler in Yarn. Der FIFO-Scheduler stellt die eingereichten Anwendungen in der Reihenfolge der Einreichung in eine First-In-First-Out-Warteschlange. Bei der Zuweisung von Ressourcen werden die Ressourcen zuerst der obersten Anwendung in der Warteschlange zugewiesen und dann werden die Ressourcen der darauffolgenden Anwendung zugewiesen Die Ressourcenanforderungen der obersten Anwendung werden erfüllt. Eine Anwendung weist Ressourcen zu und so weiter. Wenn diese Art von Scheduler Ressourcen plant, ist es möglich, dass eine Anwendung mit großem Ressourcenbedarf alle Clusterressourcen belegt, was dazu führt, dass andere Anwendungen blockiert werden.

• Kapazitätsplaner (Kapazitätsplaner) Es handelt sich um den in Yarn konfigurierten Standard-Ressourcenplaner, der mehreren Mandanten die sichere gemeinsame Nutzung eines großen Clusters ermöglicht. Der Kapazitätsplaner unterstützt die Konfiguration mehrerer Ressourcenwarteschlangen. Sie können die minimalen und maximalen nutzbaren Ressourcenverhältnisse für jede Ressourcenwarteschlange festlegen. Bei der Zuweisung von Ressourcen werden die Ressourcen mit dem niedrigsten Verhältnis „tatsächliche Ressourcen/Budgetressourcen“ priorisiert. Jede Ressourcenwarteschlange übernimmt intern die FIFO-Planungsstrategie.

• MesseplanerEs handelt sich um eine Ressourcenplanungsmethode, die allen Anwendungen im Laufe der Zeit gleiche Ressourcenanteile zuweist.

Der Unterschied zwischen FIFO-, Kapazitäts- und Fair-Ressourcenplanern in Yarn ist wie folgt:

---

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨