Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Σχετικά με τον Συγγραφέα

Li Qingwang - Μηχανικός Ανάπτυξης Λογισμικού, Cisco

εισαγωγή

Γεια σε όλους, με λένε Li Qingwang, μηχανικό ανάπτυξης λογισμικού από τη Cisco. Η ομάδα μας χρησιμοποιεί το Apache DolphinScheduler για να δημιουργήσει τη δική μας πλατφόρμα προγραμματισμού μεγάλων δεδομένων για σχεδόν τρία χρόνια. Από την αρχική έκδοση 2.0.3 μέχρι σήμερα, έχουμε αναπτυχθεί μαζί με την κοινότητα.

Σήμερα, θα μοιραστώ τον τρόπο με τον οποίο χρησιμοποιούμε το Apache DolphinScheduler για να δημιουργήσουμε μια πλατφόρμα μεγάλων δεδομένων και να υποβάλουμε και να αναπτύξουμε τις εργασίες μας στο AWS Ορισμένες προκλήσεις που αντιμετωπίσαμε κατά τη διάρκεια της διαδικασίας και τις λύσεις μας.

Αρχιτεκτονικός σχεδιασμός και προσαρμογή

Αρχικά, όλες οι υπηρεσίες μας αναπτύσσονται στο Kubernetes (K8s), συμπεριλαμβανομένων των API, Alert και στοιχείων όπως Zookeeper (ZK), Master και Worker.

Εργασίες επεξεργασίας μεγάλων δεδομένων

Έχουμε πραγματοποιήσει δευτερεύουσα ανάπτυξη σε εργασίες όπως το Spark, το ETL και το Flink:

• Εργασίες ETL: Η ομάδα μας έχει αναπτύξει ένα απλό εργαλείο μεταφοράς και απόθεσης μέσω του οποίου οι χρήστες μπορούν να δημιουργήσουν γρήγορα εργασίες ETL.
• Στήριγμα σπινθήρα : Η πρώιμη έκδοση υποστήριζε μόνο το Spark που εκτελείται σε Yarn και το κάναμε να υποστηρίζει την εκτέλεση σε K8 μέσω δευτερεύουσας ανάπτυξης. Η τελευταία έκδοση της κοινότητας υποστηρίζει αυτήν τη στιγμή το Spark στο K8.
• *Δευτερεύουσα ανάπτυξη Flink: Ομοίως, έχουμε προσθέσει εργασίες ροής Flink On K8s, καθώς και υποστήριξη για εργασίες SQL και εργασίες Python σε K8s.

Εργασία υποστήριξης στο AWS

Καθώς η επιχείρηση επεκτείνεται και απαιτούνται πολιτικές δεδομένων, αντιμετωπίζουμε την πρόκληση να πρέπει να εκτελούμε εργασίες δεδομένων σε διαφορετικές περιοχές. Αυτό απαιτεί να δημιουργήσουμε μια αρχιτεκτονική που μπορεί να υποστηρίξει πολλαπλά συμπλέγματα. Παρακάτω είναι μια λεπτομερής περιγραφή της λύσης και της διαδικασίας εφαρμογής μας.

Η τρέχουσα αρχιτεκτονική μας αποτελείται από ένα κεντρικό τελικό σημείο ελέγχου, μια ενιαία υπηρεσία Apache DolphinScheduler, η οποία διαχειρίζεται πολλαπλά συμπλέγματα. Αυτά τα συμπλέγματα διανέμονται σε διαφορετικές γεωγραφικές περιοχές, όπως η ΕΕ και οι Ηνωμένες Πολιτείες, προκειμένου να συμμορφώνονται με τις τοπικές πολιτικές δεδομένων και τις απαιτήσεις απομόνωσης.

Αρχιτεκτονική προσαρμογή

Για να καλύψουμε αυτή τη ζήτηση, πραγματοποιήσαμε τις ακόλουθες προσαρμογές:

• Διατηρήστε κεντρική διαχείριση της υπηρεσίας Apache DolphinScheduler: Η υπηρεσία μας DolphinScheduler εξακολουθεί να αναπτύσσεται στο ιδιοκατασκευασμένο Cisco Webex DC, διατηρώντας την κεντρική διαχείριση και τη συνέπεια.
• Υποστήριξη συμπλέγματος AWS EKS : Ταυτόχρονα, επεκτείναμε τις δυνατότητες της αρχιτεκτονικής μας για την υποστήριξη πολλαπλών συμπλεγμάτων AWS EKS. Με αυτόν τον τρόπο, οι νέες επιχειρηματικές απαιτήσεις για εργασίες που εκτελούνται στο σύμπλεγμα EKS μπορούν να ικανοποιηθούν χωρίς να επηρεαστεί η λειτουργία και η απομόνωση δεδομένων άλλων συμπλεγμάτων Webex DC.

Μέσω αυτού του σχεδιασμού, μπορούμε να ανταποκριθούμε ευέλικτα σε διαφορετικές επιχειρηματικές ανάγκες και τεχνικές προκλήσεις, διασφαλίζοντας παράλληλα την απομόνωση δεδομένων και τη συμμόρφωση με την πολιτική.

Στη συνέχεια, θα εισαγάγουμε τον τρόπο χειρισμού της τεχνικής υλοποίησης και των εξαρτήσεων πόρων του Apache DolphinScheduler κατά την εκτέλεση εργασιών στο Cisco Webex DC.

Εξαρτήσεις πόρων και αποθήκευση

Δεδομένου ότι όλες οι εργασίες μας εκτελούνται στο Kubernetes (K8s), είναι σημαντικό για εμάς να:

Εικόνα Docker

• τοποθεσία αποθήκευσης: Παλαιότερα, όλες οι εικόνες του Docker αποθηκεύονταν σε ένα αποθετήριο Docker στη Cisco.
• Διαχείριση εικόνας: Αυτές οι εικόνες παρέχουν το απαραίτητο περιβάλλον λειτουργίας και τις εξαρτήσεις για τις διάφορες υπηρεσίες και εργασίες που εκτελούμε.

Αρχεία πόρων και εξαρτήσεις

• Πακέτα jar και αρχεία διαμόρφωσης κ.λπ.: Χρησιμοποιούμε το Amazon S3 Bucket ως κέντρο αποθήκευσης πόρων για την αποθήκευση του πακέτου Jar του χρήστη και πιθανών εξαρτημένων αρχείων διαμόρφωσης.
• Διαχείριση πόρων ασφαλείας: Συμπεριλαμβανομένων των κωδικών πρόσβασης βάσης δεδομένων, των πληροφοριών κρυπτογράφησης Kafka και των κλειδιών που εξαρτώνται από το χρήστη, κ.λπ. Αυτές οι ευαίσθητες πληροφορίες αποθηκεύονται στην υπηρεσία Vault της Cisco.

Ασφαλής πρόσβαση και διαχείριση δικαιωμάτων

Για την ανάγκη πρόσβασης στο S3 Bucket, πρέπει να διαμορφώσουμε και να διαχειριστούμε τα διαπιστευτήρια AWS:

Διαμόρφωση λογαριασμού IAM

• Διαχείριση διαπιστευτηρίων: Χρησιμοποιούμε λογαριασμούς IAM για τη διαχείριση της πρόσβασης σε πόρους AWS, συμπεριλαμβανομένων των κλειδιών πρόσβασης και των μυστικών κλειδιών.
• Ενσωμάτωση K8s: Αυτές οι πληροφορίες διαπιστευτηρίων αποθηκεύονται στο μυστικό Kubernetes και αναφέρονται από το Api-Service για ασφαλή πρόσβαση στον κάδο S3.
• Έλεγχος αδειών και απομόνωση πόρων: Μέσω των λογαριασμών IAM, μπορούμε να εφαρμόσουμε λεπτομερή έλεγχο αδειών για να διασφαλίσουμε την ασφάλεια των δεδομένων και την επιχειρηματική συμμόρφωση.

Ζητήματα λήξης και αντίμετρα για κλειδιά πρόσβασης λογαριασμού IAM

Κατά τη διαδικασία χρήσης λογαριασμών IAM για τη διαχείριση πόρων AWS, αντιμετωπίζουμε το πρόβλημα της λήξης του κλειδιού πρόσβασης. Δείτε περισσότερα για το πώς αντιμετωπίζουμε αυτήν την πρόκληση.

Πρόσβαση σε ζήτημα λήξης κλειδιού

• βασική περίοδο: Το κλειδί AWS του λογαριασμού IAM συνήθως ορίζεται να λήγει αυτόματα κάθε 90 ημέρες, κάτι που είναι για να ενισχύσει την ασφάλεια του συστήματος.
• αντίκτυπο της αποστολής: Μόλις λήξουν τα κλειδιά, δεν θα είναι δυνατή η εκτέλεση όλων των εργασιών που βασίζονται σε αυτά τα κλειδιά για την πρόσβαση σε πόρους AWS, κάτι που απαιτεί την έγκαιρη ενημέρωση των κλειδιών για τη διατήρηση της επιχειρηματικής συνέχειας.

Σε απάντηση σε αυτήν την κατάσταση, ρυθμίζουμε τακτικές επανεκκινήσεις για την εργασία και ρυθμίζουμε την αντίστοιχη παρακολούθηση.

Υποστήριξη AWS EKS

Καθώς η επιχείρησή μας επεκτείνεται στο AWS EKS, πρέπει να κάνουμε μια σειρά προσαρμογών στην υπάρχουσα αρχιτεκτονική και μέτρα ασφαλείας μας.

Για παράδειγμα, όπως η εικόνα Docker που αναφέρθηκε μόλις τώρα, την τοποθετήσαμε στο παρελθόν στο αποθετήριο Docker της Cisco, οπότε τώρα πρέπει να βάλουμε την εικόνα Docker στο ECR.

Υποστήριξη πολλαπλών S3 Bucket

Λόγω της αποκεντρωμένης φύσης των συμπλεγμάτων AWS και των απαιτήσεων απομόνωσης δεδομένων διαφορετικών επιχειρήσεων, πρέπει να υποστηρίξουμε πολλαπλούς κάδους S3 για να καλύψουμε τις ανάγκες αποθήκευσης δεδομένων διαφορετικών συμπλεγμάτων:

• Αντιστοιχία μεταξύ συστάδας και κάδου: Κάθε σύμπλεγμα θα έχει πρόσβαση στον αντίστοιχο κάδο S3 για να διασφαλίσει την εντοπιότητα και τη συμμόρφωση των δεδομένων.
• Τροποποίηση στρατηγικής: Πρέπει να προσαρμόσουμε την πολιτική πρόσβασης στο χώρο αποθήκευσης για να υποστηρίζουμε την ανάγνωση και την εγγραφή δεδομένων από πολλούς κάδους S3 Διαφορετικά επιχειρηματικά μέρη πρέπει να έχουν πρόσβαση στους αντίστοιχους κάδους S3.

Αλλαγές στα εργαλεία διαχείρισης κωδικών πρόσβασης

Προκειμένου να βελτιωθεί η ασφάλεια, μεταφερθήκαμε από την υπηρεσία Vault που έχει δημιουργηθεί από τη Cisco στο AWS's Secrets Manager (ASM):

• Χρήση ASM: Η ASM παρέχει μια πιο ολοκληρωμένη λύση για τη διαχείριση κωδικών πρόσβασης και κλειδιών για πόρους AWS.

Έχουμε υιοθετήσει τη μέθοδο χρήσης του IAM Role and Service Account για να βελτιώσουμε την ασφάλεια του Pod:

• Δημιουργήστε ρόλο και πολιτική IAM: Πρώτα δημιουργήστε έναν ρόλο IAM και δεσμεύστε τις απαραίτητες πολιτικές σε αυτόν για να διασφαλίσετε ότι παραχωρούνται μόνο τα απαραίτητα δικαιώματα.
• Σύνδεση λογαριασμού υπηρεσίας K8s: Στη συνέχεια, δημιουργήστε έναν λογαριασμό υπηρεσίας Kubernetes και συσχετίστε τον με τον ρόλο IAM.
• Ενσωμάτωση άδειας pod: Όταν εκτελείτε ένα Pod, συσχετίζοντάς το με τον λογαριασμό υπηρεσίας, το Pod μπορεί να λάβει τα απαιτούμενα διαπιστευτήρια AWS απευθείας μέσω του ρόλου IAM, αποκτώντας έτσι πρόσβαση στους απαραίτητους πόρους AWS.

Αυτές οι προσαρμογές όχι μόνο βελτιώνουν την επεκτασιμότητα και την ευελιξία του συστήματός μας, αλλά ενισχύουν επίσης τη συνολική αρχιτεκτονική ασφάλειας για να διασφαλιστεί ότι η λειτουργία στο περιβάλλον AWS είναι αποτελεσματική και ασφαλής. Ταυτόχρονα, αποφεύγει επίσης το προηγούμενο πρόβλημα αυτόματης λήξης των κλειδιών και την ανάγκη επανεκκίνησης.

Βελτιστοποιήστε τις διαδικασίες διαχείρισης πόρων και αποθήκευσης

Για να απλοποιήσουμε τη διαδικασία ανάπτυξης, σκοπεύουμε να προωθήσουμε την εικόνα του Docker απευθείας στο ECR αντί να περάσουμε από μια δευτερεύουσα διέλευση:

• σπρώξτε απευθείας: Τροποποιήστε την τρέχουσα διαδικασία συσκευασίας έτσι ώστε η εικόνα Docker να προωθείται απευθείας στο ECR μετά την κατασκευή, μειώνοντας τις χρονικές καθυστερήσεις και τα πιθανά σημεία σφάλματος.

Αλλαγή υλοποίησης

• Ρυθμίσεις επιπέδου κώδικα: Τροποποιήσαμε τον κώδικα DolphinScheduler για να του επιτρέψουμε να υποστηρίζει πολλούς πελάτες S3 και προσθέσαμε διαχείριση κρυφής μνήμης για πολλούς S3Clients.
• Προσαρμογές διεπαφής χρήστη διαχείρισης πόρων: Επιτρέπει στους χρήστες να επιλέγουν διαφορετικά ονόματα κάδου AWS για λειτουργίες μέσω της διεπαφής.
• πρόσβαση σε πόρους: Η τροποποιημένη υπηρεσία Apache DolphinScheduler μπορεί πλέον να έχει πρόσβαση σε πολλαπλούς κάδους S3, επιτρέποντας την ευέλικτη διαχείριση δεδομένων μεταξύ διαφορετικών συμπλεγμάτων AWS.

Διαχείριση και απομόνωση αδειών πόρων AWS

Ενσωμάτωση του AWS Secrets Manager (ASM)

Έχουμε επεκτείνει το Apache DolphinScheduler για να υποστηρίζει το AWS Secrets Manager, επιτρέποντας στους χρήστες να επιλέγουν μυστικά σε διαφορετικούς τύπους συμπλέγματος:

Λειτουργική ενοποίηση ASM

• Βελτιώσεις διεπαφής χρήστη: Στο περιβάλλον χρήστη του DolphinScheduler, προστίθενται οι λειτουργίες εμφάνισης και επιλογής διαφορετικών μυστικών τύπων.
• Αυτόματη διαχείριση κλειδιών: Αντιστοιχίζει τη διαδρομή αρχείου που αποθηκεύει το μυστικό που έχει επιλέξει ο χρήστης στην πραγματική μεταβλητή περιβάλλοντος Pod κατά τη διάρκεια του χρόνου εκτέλεσης, διασφαλίζοντας την ασφαλή χρήση του κλειδιού.

Υπηρεσία διαμόρφωσης και αρχικοποίησης δυναμικών πόρων (Init Container)

Για να διαχειριστούμε και να αρχικοποιήσουμε τους πόρους AWS πιο ευέλικτα, εφαρμόσαμε μια υπηρεσία που ονομάζεται Init Container:

• Τράβηγμα πόρων: Το Init Container θα τραβήξει αυτόματα τους πόρους S3 που έχουν ρυθμιστεί από τον χρήστη και θα τους τοποθετήσει στον καθορισμένο κατάλογο πριν από την εκτέλεση του Pod.
• Διαχείριση κλειδιού και διαμόρφωσης: Σύμφωνα με τη διαμόρφωση, το Init Container θα ελέγξει και θα τραβήξει τις πληροφορίες κωδικού πρόσβασης στο ASM, στη συνέχεια θα τις αποθηκεύσει σε ένα αρχείο και θα τις αντιστοιχίσει μέσω μεταβλητών περιβάλλοντος για χρήση από το Pod.

Εφαρμογή του Terraform στη δημιουργία και διαχείριση πόρων

Έχουμε αυτοματοποιήσει τη διαδικασία διαμόρφωσης και διαχείρισης των πόρων AWS μέσω του Terraform, απλοποιώντας την κατανομή πόρων και τις ρυθμίσεις αδειών:

• Αυτόματη διαμόρφωση πόρων: Χρησιμοποιήστε το Terraform για να δημιουργήσετε τους απαιτούμενους πόρους AWS, όπως το S3 Bucket και το ECR Repo.
• Πολιτική IAM και διαχείριση ρόλων: Δημιουργήστε αυτόματα πολιτικές και ρόλους IAM για να διασφαλίσετε ότι κάθε επιχειρηματική μονάδα έχει κατ' απαίτηση πρόσβαση στους πόρους που χρειάζεται.

Απομόνωση άδειας και ασφάλεια

Χρησιμοποιούμε εξελιγμένες στρατηγικές απομόνωσης αδειών για να διασφαλίσουμε ότι διαφορετικές επιχειρηματικές μονάδες λειτουργούν σε ανεξάρτητους χώρους ονομάτων, αποφεύγοντας διενέξεις πρόσβασης σε πόρους και κινδύνους ασφαλείας:

Λεπτομέρειες υλοποίησης

• Δημιουργία και δέσμευση Λογαριασμού Υπηρεσίας: Δημιουργήστε έναν ανεξάρτητο Λογαριασμό Υπηρεσιών για κάθε επιχειρηματική μονάδα και συνδέστε τον με τον ρόλο IAM.
• Απομόνωση χώρου ονομάτων: Κάθε λειτουργία λογαριασμού υπηρεσίας έχει πρόσβαση στους αντίστοιχους πόρους AWS μέσω του ρόλου IAM εντός του καθορισμένου χώρου ονομάτων.

Βελτιώσεις στην υποστήριξη συμπλέγματος και στον έλεγχο αδειών

Επεκτάσεις τύπου συμπλέγματος

Προσθέσαμε ένα νέο πεδίο cluster type, για την υποστήριξη διαφορετικών τύπων συμπλεγμάτων K8S, τα οποία όχι μόνο περιλαμβάνουν τυπικά συμπλέγματα Webex DC και συμπλέγματα AWS EKS, αλλά υποστηρίζουν επίσης συγκεκριμένα συμπλέγματα με υψηλότερες απαιτήσεις ασφαλείας:

Διαχείριση τύπου συμπλέγματος

• Πεδίο τύπου συμπλέγματος:από Εισήχθηcluster typeπεδία, μπορούμε εύκολα να διαχειριστούμε και να επεκτείνουμε την υποστήριξη για διαφορετικά συμπλέγματα K8S.
• Προσαρμογή σε επίπεδο κώδικα: Με βάση τις μοναδικές ανάγκες συγκεκριμένων συμπλεγμάτων, μπορούμε να κάνουμε τροποποιήσεις σε επίπεδο κώδικα για να διασφαλίσουμε ότι πληρούνται οι απαιτήσεις ασφάλειας και διαμόρφωσης κατά την εκτέλεση εργασιών σε αυτά τα συμπλέγματα.

Βελτιωμένο σύστημα ελέγχου αδειών (σύστημα Auth)

Αναπτύξαμε το σύστημα Auth ειδικά για λεπτομερή έλεγχο αδειών, συμπεριλαμβανομένης της διαχείρισης αδειών μεταξύ έργων, πόρων και χώρων ονομάτων:

Λειτουργία διαχείρισης δικαιωμάτων

• Δικαιώματα έργου και πόρων: Οι χρήστες μπορούν να ελέγχουν τα δικαιώματα μέσω της διάστασης έργου.
• έλεγχος άδειας χώρου ονομάτων: Βεβαιωθείτε ότι μια συγκεκριμένη ομάδα μπορεί να εκτελέσει τις εργασίες του έργου της μόνο στον καθορισμένο χώρο ονομάτων, διασφαλίζοντας έτσι την εκτέλεση απομόνωσης πόρων.

Για παράδειγμα, η ομάδα Α μπορεί να εκτελέσει μόνο ορισμένες εργασίες έργου στον χώρο ονομάτων Α της, ο χρήστης Β δεν μπορεί να εκτελέσει εργασίες στο χώρο ονομάτων του χρήστη Α.

Διαχείριση πόρων AWS και εφαρμογή αδειών

Χρησιμοποιούμε το σύστημα Auth και άλλα εργαλεία για τη διαχείριση των αδειών και τον έλεγχο πρόσβασης των πόρων AWS, καθιστώντας την κατανομή πόρων πιο ευέλικτη και ασφαλή:

• Υποστήριξη πολλαπλών λογαριασμών AWS: Στο σύστημα Auth, μπορείτε να διαχειριστείτε πολλούς λογαριασμούς AWS και να συνδέσετε διαφορετικούς πόρους AWS όπως S3 Bucket, ECR, ASM κ.λπ.
• Χαρτογράφηση πόρων και εφαρμογή αδειών: Οι χρήστες μπορούν να χαρτογραφήσουν υπάρχοντες πόρους AWS και να υποβάλουν αίτηση για δικαιώματα στο σύστημα, ώστε να μπορούν εύκολα να επιλέξουν τους πόρους στους οποίους χρειάζονται πρόσβαση κατά την εκτέλεση μιας εργασίας.

Διαχείριση λογαριασμού υπηρεσίας και δεσμευτική άδεια

Για την καλύτερη διαχείριση των λογαριασμών υπηρεσιών και των αδειών τους, έχουμε εφαρμόσει τις ακόλουθες λειτουργίες:

Δέσμευση και διαχείριση λογαριασμού υπηρεσίας

• Η μόνη διαφορά μεταξύ του λογαριασμού υπηρεσίας: Συνδέστε τον λογαριασμό υπηρεσίας μέσω ενός συγκεκριμένου συμπλέγματος, χώρου ονομάτων και ονόματος έργου για να διασφαλίσετε τη μοναδικότητά του.
• Διεπαφή δέσμευσης αδειών: Οι χρήστες μπορούν να δεσμεύσουν τον λογαριασμό υπηρεσίας σε συγκεκριμένους πόρους AWS, όπως S3, ASM ή ECR, στη διεπαφή για να επιτύχουν ακριβή έλεγχο των δικαιωμάτων.

Απλοποίηση λειτουργιών και συγχρονισμού πόρων

Μόλις είπα πολλά, αλλά η πραγματική λειτουργία είναι σχετικά απλή για τους χρήστες. Η όλη διαδικασία εφαρμογής είναι στην πραγματικότητα μια εφάπαξ εργασία Προκειμένου να βελτιώσουμε περαιτέρω την εμπειρία χρήστη του Apache DolphinScheduler στο περιβάλλον AWS. μέτρα για την απλοποίηση των διαδικασιών λειτουργίας και τη βελτίωση των δυνατοτήτων συγχρονισμού πόρων.

Επιτρέψτε μου να σας το συνοψίσω:

Απλοποιημένη διεπαφή χρήστη

Στο DolphinScheduler, οι χρήστες μπορούν εύκολα να διαμορφώσουν το συγκεκριμένο σύμπλεγμα και τον χώρο ονομάτων στον οποίο εκτελούνται οι εργασίες τους:

Επιλογή συμπλέγματος και χώρου ονομάτων

• Επιλογή συμπλέγματος: Κατά την υποβολή μιας εργασίας, οι χρήστες μπορούν να επιλέξουν το σύμπλεγμα στο οποίο θέλουν να εκτελείται η εργασία.
• διαμόρφωση χώρου ονομάτων: Ανάλογα με το επιλεγμένο σύμπλεγμα, ο χρήστης πρέπει επίσης να καθορίσει τον χώρο ονομάτων στον οποίο εκτελείται η εργασία.

Λογαριασμός υπηρεσίας και επιλογή πόρων

• Εμφάνιση λογαριασμού υπηρεσίας: Η σελίδα θα εμφανίσει αυτόματα τον αντίστοιχο Λογαριασμό Υπηρεσίας με βάση το επιλεγμένο έργο, το σύμπλεγμα και τον χώρο ονομάτων.
• Διαμόρφωση πρόσβασης σε πόρους: Οι χρήστες μπορούν να επιλέξουν τον κάδο S3, τη διεύθυνση ECR και το κλειδί ASM που σχετίζονται με τον λογαριασμό υπηρεσίας μέσω της αναπτυσσόμενης λίστας.

μελλοντική προοπτική

Όσον αφορά τον τρέχοντα σχεδιασμό, εξακολουθούν να υπάρχουν ορισμένοι τομείς που μπορούν να βελτιστοποιηθούν και να βελτιωθούν για να βελτιωθεί η υποβολή των χρηστών και να διευκολυνθεί η λειτουργία και η συντήρηση:

• Βελτιστοποίηση ώθησης εικόνας: Εξετάστε το ενδεχόμενο να παραλείψετε τη διαδικασία συσκευασίας transit της Cisco και να ωθήσετε το πακέτο απευθείας στο ECR, ειδικά για τροποποιήσεις εικόνας ειδικά για το EKS.
• Λειτουργία συγχρονισμού με ένα κλικ: Σχεδιάζουμε να αναπτύξουμε μια λειτουργία συγχρονισμού με ένα κλικ που επιτρέπει στους χρήστες να ανεβάζουν ένα πακέτο πόρων σε έναν κάδο S3 και να επιλέγουν το πλαίσιο για να το συγχρονίζουν αυτόματα με άλλους κάδους S3 για να μειώσουν την εργασία των επαναλαμβανόμενων μεταφορτώσεων.
• Αυτόματη αντιστοίχιση στο σύστημα Auth: Αφού δημιουργηθούν οι πόροι του Aws μέσω του Terraform, το σύστημα θα αντιστοιχίσει αυτόματα αυτούς τους πόρους στο σύστημα διαχείρισης αδειών για να αποφύγει τη μη αυτόματη εισαγωγή πόρων από τους χρήστες.
• Βελτιστοποίηση ελέγχου αδειών: Μέσω της αυτοματοποιημένης διαχείρισης πόρων και αδειών, οι λειτουργίες του χρήστη γίνονται πιο απλές, μειώνοντας την πολυπλοκότητα της εγκατάστασης και της διαχείρισης.

Με αυτές τις βελτιώσεις, αναμένουμε να βοηθήσουμε τους χρήστες να αναπτύξουν και να διαχειριστούν τις εργασίες τους πιο αποτελεσματικά χρησιμοποιώντας το Apache DolphinScheduler, είτε στο Webex DC είτε στο EKS, βελτιώνοντας παράλληλα την αποτελεσματικότητα και την ασφάλεια διαχείρισης πόρων.

Αυτό το άρθρο είναι γραμμένο από Beluga Open Source Technology Διατίθεται υποστήριξη εκδόσεων!