Li Qingwang - Software Development Engineer, Cisco
introductio
Salve omnes, nomen meum est Li Qingwang, programmatio machinalis a Cisco. Manipulus noster Apache DelphinusScheduler usus est ut magnas notitias nostras suggestum schedulingum per tres fere annos extrueret. Ex versione initiali 2.0.3 usque ad praesens una cum communitate crevimus. Ideae technicae tecum communicatae hodie sunt progressiones secundae secundum versionem 3.1.1, additis notis quibusdam novis notis in communi versione comprehensis.
Hodie communicabo quomodo Apache DelphinScheduler utimur ut magnum suggestum edificandum ac praebeamus et officia nostra ad AWS explicandam.
Architectura consilio et temperatio
Initio, omnia officia nostra in Kubernetes (K8s), inclusis API, erecti et componentes ut Zookeeper (ZK), Magistro et opifice explicantur.
Magnus MGE tasks
Secundam progressionem in officiis gessimus sicut scintillam, ETL et Flink:
ETL tasks: Turma nostra processit instrumentum simplex reticulum et gutta, per quod utentes celeriter generare ETL munia possunt.
Scintilla firmamentum : Primae literae tantum scintillae in Yarn currentem sustinebant, et illud subsidium currendo in K8s per progressionem secundariam fecimus. Novissima versio communitatis hodie Spark in K8s sustinet.
* Flink secundae progressionis: Similiter addimus Flinkum de operibus K8s effusis, nec non subsidia SQL munia et pythonis munerum K8s.
Support Job in AWS
Cum negotium dilatatur et notitiae rationes requiruntur, provocationem praebemus habendi ad operas datas currendi in diversis regionibus. Hoc nos requirit architecturae aedificandae quae multiplices ligaturas sustentare potest. Infra accuratam descriptionem solutionis et processus exsecutionis nostrae.
Architectura nostra currentis consistit in dicione centrali instrumenti, una Apache Delphini Scheduler, quae multiplices ligaturas administrat. Hae uvae in variis geographias, ut EU et Civitatibus Foederatis, distributae sunt, ad propinquos locorum notitias rerum ac solitudo requisita.
Architecturae temperatio
Ut huic postulationi occurreremus, ea quae sequuntur servamus servandis;
Serva Apache DelphinScheduler officium centro managed: Noster DelphinScheduler usus adhuc in Cisco Webex DC auto-aedificato explicatur, administratione centralem et constantiam servans.
Support AWS EKS botrus : Eodem tempore facultates architecturae nostrae dilatavimus ad sustentandas plures ligaturas AWS EKS. Hoc modo, nova negotia requiruntur ad operas currendo in botro EKS occurreri possunt sine operatione et notitia solitudo aliarum Webex DC corymbis.
Hoc consilio mollius respondere possumus variis negotiis necessitatibus ac technicis provocationibus, dum notitias solitudo et consilium obsequium praestamus.
Deinde inducemus quomodo technicam exsecutionem et subsidiorum clientelas Apache DelphiniScheduler tractare debebimus, cum munia in Cisco Webex DC concurrentes.
Resource clientelas et repono
Cum omnia nostra officia in Kubernetes (K8s) currunt, nobis pendet:
Docker image
locus repono: Antea omnes imagines nostrae Docker in repositorio Docker ad Cisco repositae sunt.
Imago procuratioHae imagines praebent necessarias ambitus operandi et clientelas variis officiis ac muneribus quibus curritur.
Resource files ac clientelas
Dolium fasciculorum et configurationum, etc.: Amazonio S3 Situla utimur sicut centrum repositionis repositionis ut congregem fasciculi Jar utentis et possibilis dependens schematismi.
Securitatis resource procuratio: Tesserae datorum comprehendo, Kafka encryption informationes et claves usuario-dependens, etc. Hae notitiae sensitivae in ministerio Cisco repositae sunt.
Securus accessus et iura procuratio
Pro necessitate accedere S3 Situla, necesse est AWS documentorum configurare et administrare;
IAM propter configuratione
Procuratio Credential: IAM rationibus utimur ad accessum ad facultates AWS regendas, in quibus Access Claves et Claves Secreti.
K8s integration: Haec documentorum notitia in Secret Kubernetes recondita sunt et ab Api-Servitio ad tutelam S3 Situla accedere.
Permission imperium et resource solitudo: Per rationes IAM, peren- scopi licentiae potestatem efficere possumus, ut notitia securitatis et negotii obsequium curet.
Resoluto quaestiones et countermeasures IAM propter accessum claves
In processu rationum IAM utendi ad facultates AWS regendas, problema accessum clavem exspirandi praebemus. Hic plus est de quo hanc provocationem aggredimur.
Accessum key exitus exitus
key tempus: Clavis AWS IAM rationis collocari solet ut singulis 90 diebus automatice exspirare, quod securitatem systematis augere est.
missio impulsum: Claves exspirantes, omnia officia quae in his clavibus ad accessum AWS subsidia confidunt, praestare non poterunt, quae nos requirit ut claves opportune modo ad negotium continuum retinendum.
Ad hanc condicionem respondendo, sileo regulares ad negotium posuimus et magna vigilantia respondentes statuimus. Si quaestio est cum AWS ratione ante terminum elapsum, necesse est notificare tincidunt ad aliquid faciendum processui.
Support AWS EKS
Cum res nostras dilatat ad AWS EKS, necesse est seriem adaptandi ad mensuras architecturae et securitatis existentium.
Exempli gratia, sicut imago Docker modo de qua modo dictum est, antea in Cisco repo Docker posuit, sic nunc necesse est imaginem Docker in ECR ponere.
Multiplex S 3 Situla firmamentum
Debita ratione decentralized ligaturae AWS et notitiarum solitudo requisita diversarum negotiorum, necesse est plures S3 Situlas sustinere ut notitias repositionis necessitates diversarum racemorum conveniant;
Correspondentia inter botrum et situla: Unicuique botrus accessurus est ad suum correspondentem S3 Situla ut notitia loci et obsequii curet.
Mutare belli: Nos postulo ut consilium accessum repositionis accommodare ad legendi et scribendique notitias ex pluribus S3 Situlas suscipiendis.
Mutationes in password administratione instrumenta
Ut securitatem emendaremus, e Cisco aedificatae Vault officium ad AWS Secretorum Procurator (ASM);
Usus ASM: ASM solutionem pleniorem praebet pro opibus administrandis passwords et claves pro AWS.
Modum utendi IAM Munus et Muneris Rationem adhibendi usi sumus ad securitatem Pod: augendam:
IAM Partes crea et Policy: Primum munus IAM creare et consilia necessaria obligare ad eam ut tantum concedatur licentias necessarias.
Liga K8s Service Account: Tum rationem servitii Kubernetes crea et cum munere IAM sociare.
Vasculum permissionis integratio: Podex currens, illud servitii Rationem socians, Podex documentorum AWS requisitam directe per IAM Partem obtinere potest, accedens ad facultates necessarias AWS.
Hae adaptationes non solum scalabilitatem et flexibilitatem nostri systematis emendant, sed etiam architecturae securitatis altiore confirmant ut operandi in AWS environment et efficax et securum sit. Eodem tempore, etiam priorem problema exspirationis clavium latae vitat et necessitatem sileo.
Optimize resource administratione ac processibus repono
Processum instruere simpliciorem reddere cogitamus imaginem Docker impellere directe ad ECR potius quam per transitum secundarium;
ventilabis directe: Mutare processum paccandi currentem ut imago Docker directe impellatur ad ECR postquam aedificata est, moras temporis et errorum puncta reducere.
Mutare implementation
Code gradu referendo: DelphiniScheduler codicem mutavimus ut eam pluribus S3 Clientibus sustentaret et administrationem cache multarum S3Clients addidit.
Resource administratione III servandis: Situla AWS nomina diversa permittit utentes eligere ad operationes per interface.
resource accessum: Apache DelphiniScheduler mutatio mutatio muneris nunc multiplex S3 Situla accedere potest, permittens administrationem flexibilem notitiarum inter diversas ligaturas AWS.
Procuratio ac permissio solitudo AWS resources
Integrate AWS Secretorum Procurator (ASM)
Apache DelphinScheduler extendimus ut Procurator Secretorum AWS sustineat, permittens utentes secreta per diversas botri species eligere:
ASM eget integrationem
User interface improvements: In usore interfaciei DelphiniScheduler, ostentatio et selectio functionum diversorum generum secretorum accedunt.
Lorem key administratione: Tabulae viae tabellae quae usorem electum secretum servat ad ipsum Pod environment variabile in runtime, tutum usum clavem procurans.
Dynamic resource configuratione et servitium initialization (Container Init)
Ad facultates mollius disponendas et initializandas AWS, servitium quod Init Continens vocatur, implevimus:
Resource viverra: Continens init automatice facultates S3 ab usore configuratas trahere et eas in directorio definito collocare antequam Pod supplicium est.
Clavis et configuratione procuratio: Iuxta configurationem, Continens Init reprehendo ac tesseram informationem in ASM trahere, tum in tabula repone et eam per variabilium rerum ad usus Pod Pod.
Applicatio Terraformis in resource creationis et administrationis
Conformationem et administrationem processus facultatum AWS per Terraformam automatam habemus, destinatio subsidiorum ac licentiae occasus simpliciores;
Lorem resource configuratione: Terraform utere ad creandas facultates debitas AWS ut S3 Situla et ECR Repo.
IAM consilium et munus procuratio: Automatarie creare IAM rationes et partes ut unaquaeque res unitas habeat accessum postulandi ad facultates quibus indiget.
Solitudo et securitas
Insidijs solitariis permissu sophisticatis utimur, ut unitates in spatiis spatiis diversis operentur, evitandi subsidiorum accessus conflictus et pericula securitatis;
Exsequendam singula
Creatio et obligatio servitii Ratio: Crea servitii independentis Rationem pro unoquoque negotio unitatis et eam ad munus IAM ligabis.
Spatium solitudo: Munus Ratio operationis singulae facultates AWS respondentes suas accesserunt per partes IAM intra spatium definitum.
Improvements in botrum auxilium ac permissione imperium
Botri genus extensiones
Addimus novum agrum cluster typead varias uvarum K8S formas sustinendas, quae non solum vexillum Webex DC corymbis et AWS EKS ligaturas includunt, sed etiam uvas specificas cum requisitis securitatis altioribus sustinent;
Botri genus procuratio
Botri genus agri: Inductacluster typeagros facile administrare et extendere subsidia diversis K8S racemis.
Code level customization: Ex singularibus necessitatum racemis specificis, modificationes gradus codicis efficere possumus, ut securitatis et configurationis requisita occurrant cum in his racemis cursus jobs.
Consectetur ratio permissionis imperium (Auth system)
Auth systema speciatim elaboravimus ad permissionem moderationis subtiliter comparatam, cum dispensatione inter incepta, facultates et nomina spatiis permittentes;
Iura procuratio functionis
Project et resource permissiones: Users permissiones moderari possunt per rationem project.
spatio spatio permission imperium: Curare ut certae turmae nonnisi suum negotium in statis spatiis praefixum currere possint, eo quod subsidiorum solitudo currit.
Exempli gratia, turma A non potest nisi certa negotia projecta currere in suo A spatio nominali.
AWS resource administratione ac permissione application
Systema Auth et alia instrumenta utimur ad facultates administrandas et accessum ad facultates potestates AWS, ad destinationem faciliorem et securam facultatem faciendi;
Plures AWS Account auxilium: In systemate Auth, multas AWS rationes administrare potes et diversas facultates AWS ligare ut S3 Situla, ECR, ASM, etc.
Resource destinata ac permissione application: Users facultates AWS existentes describant et pro permissionibus in systemate applicare possunt, ut facile facultates eligere possint accedere ad officium currentem.
Tantum interest inter Service Ratio: Rationem servitii liga per botrum specificum, spatii nominandi et nomen project ad singularitatem suam curandam.
Permission binding interface: Users munus servitii Rationem obligare possunt ad facultates specificas AWS, ut S3, ASM vel ECR, in instrumento ad definitam potestatem permissionum assequendam.
Simpliciorem res et resource synchronisation
Modo dixi multum, sed ipsa operatio relative simplex est pro users. consilia ad Simplify operandi rationes et augendae facultatis synchronisation resource.
Summatim faciam vobis;
Simplicior user interface
In DelphiniScheduler, usores facile configurare possunt uvam specificam et spatii nominandi in quibus eorum jobs currunt:
Botrus et spatio nominali lectio
Botrus lectio: Cum officium subiicit, utentes botrum eligere possunt, qui volunt officium currere.
configuratione spatio nominali: Pendere ad botrum electum, usor etiam indiget spatio nominandi in quo officium currit.
Service Account and resource delectu
Ratio muneris ostentationem: Pagina automatice Rationem servitii respondentem ostendet fundatur in inceptis, glomeris et spatiis selectis.
Resource accessum configuratione: Users eligere possunt S3 Situla, ECR oratio et ASM clavem cum ratione muneris per indicem delapsum coniungi.
futurum mentis
Quoad consilium hodiernum, nonnulla adhuc areae sunt quae optimized et emendari possunt ad meliorem usorem submissionem et ad operationem facilioremque sustentationem:
Imago dis ipsumConsidera omissis Cisco transitum pacandi processum et sarcinam directe ad ECR impellentem, praesertim ad modificationes imaginum specialium EKS.
One-click synchronisation function: Consilium unum-click synchronisation functionem evolvere quae permittit utentes ut fasciculum subsidii fasciculi S3 ad S3 Situla mittas et capsulam inspicias ut sponte id synchronizet aliis S3 Situlas ad opus onerationum repetitarum reducendum.
Automatice map to Auth systemPost Aws facultates per Terraform creatae sunt, ratio sponte has facultates describet ad systema permissionis administrationis ad vitandos utentes ab opibus manually ineundis.
Permission imperium ipsum: Per subsidia et permissiones administratio automated, user operationes simpliciores fiunt, implicationem setup et administratione reducendo.
His emendationibus adiuvari exspectamus utentes ad explicandam et efficacius opera sua administrandam utendi Apache DelphiniScheduler, sive in Webex DC sive EKS, dum subsidiorum administratione efficientiam et securitatem auget.
