τα στοιχεία επικοινωνίας μου
Ταχυδρομείο[email protected]
2024-07-12
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Η εταιρεία θέλει να χρησιμοποιήσει μια νέα αρχιτεκτονική μεγάλων δεδομένων και σχεδιάζει να αντικαταστήσει τις ξένες πλατφόρμες μεγάλων δεδομένων με εγχώριες. Εδώ, λοιπόν, έχω μπερδευτεί σχετικά με το αν θα χρησιμοποιήσω το doris ή το starrocks, επειδή είναι ανοιχτού κώδικα, μπορώ να χρησιμοποιήσω απευθείας τον προμηθευτή του cloud στο μέλλον. Εάν χρησιμοποιείτε starrocks, πρέπει να το κατασκευάσετε μόνοι σας, αλλά σίγουρα θα εμπορευματοποιηθεί στο μέλλον και θα πρέπει να χρεώσετε χρήματα. Έχω χρησιμοποιήσει το doris στο παρελθόν, αλλά όχι το starRocks, ήθελα να προσπαθήσω να δω αν είναι πραγματικά τόσο υψηλής απόδοσης όσο ο παρακάτω σύνδεσμος αναφοράς, γι 'αυτό επέλεξα το starrocks. Χρησιμοποιήστε το ως αποθήκη δεδομένων για να αντικαταστήσετε το hive-presto ή το kudu-impala στο προηγούμενο CDH μας.
Πιστεύετε ότι το starRocks μπορεί να αντικαταστήσει την κυψέλη; Νομίζω ότι το σετ hadoop ήταν κάτι από το οποίο η Google κουράστηκε πριν από 20 χρόνια. Το πλεονέκτημα είναι ότι είναι πολύ σταθερό . Δεν χρειάζεται να χρησιμοποιήσετε καθόλου το hadoop, μπορείτε να χρησιμοποιήσετε το starRocks.
cat /proc/cpuinfo | grep avx2
Εάν δεν εκτυπώνεται τίποτα, τότε μπορείτε να αλλάξετε την CPU.
Η Be είναι υπεύθυνη για τον υπολογισμό Εάν δεν έχετε αυτό το σύνολο εντολών, δεν μπορείτε να το αναπτύξετε.
Το startrocks είναι μια [αποθήκη δεδομένων] για [ανάλυση δεδομένων], η οποία μπορεί να αντικαταστήσει την παραδοσιακή κυψέληδιανυσματοποίηση，Αρχιτεκτονική MMPτουΜηχανή αποθήκευσης στήλης,υποστήριξηανάλυση σε πραγματικό χρόνο , ταυτόχρονος υπολογισμός.Συμβατό με πρωτόκολλο mysql, μπορεί να χρησιμοποιηθείσύνδεση πελάτη mysql .υποστήριξηΟριζόντια επέκταση . Όλο το σύστημα δεν έχει εξωτερικές εξαρτήσεις, δηλαδή δεν χρειάζεται zookeeper για να το διαχειριστεί, ή μεταδεδομένα υπάρχουν στο mysql, χρειάζεται μόνο να διατηρηθεί.
Δεν είναι κατάλληλο για λειτουργίες συναλλαγών, όπως ενημερώσεις και άλλες λειτουργίες.
Vectorization: αναφέρεται στο γεγονός ότι μετά τη διανυσματοποίηση των δεδομένων, η CPU μπορούσε να επεξεργαστεί μόνο ένα στοιχείο, αλλά τώρα μπορεί να επεξεργαστεί πολλά στοιχεία ταυτόχρονα.
Αρχιτεκτονική MPP: Μεγάλης κλίμακας αρχιτεκτονική παράλληλης επεξεργασίας, διαχωρισμός δεδομένων σε πολλαπλές μηχανές για εκτέλεση μαζί, επεξεργασία μεγάλων ποσοτήτων δεδομένων
Μηχανή αποθήκευσης στηλών: διαχειρίζεται στήλες και υποστηρίζει την αποθήκευση και την ανάλυση του πίνακα μεγάλου πλάτους και συμπτύσσεται όταν υπάρχουν πάρα πολλά πεδία μεμονωμένα και οι στήλες μπορούν να ενημερωθούν σε πραγματικό χρόνο.
Ανάλυση σε πραγματικό χρόνο: Η ταχύτητα ανάλυσης ερωτημάτων είναι σχετικά γρήγορη, σε επίπεδο χιλιοστών του δευτερολέπτου
Σύνδεση προγράμματος-πελάτη Mysql: Για παράδειγμα, μπορεί το navicat ή το jdbc να συνδεθεί απευθείας σε αυτό;Να επαληθευτεί
Οριζόντια επέκταση: 1 μηχάνημα είναι πολύ αδύναμο, μπορώ να συνεχίσω να προσθέτω μηχανές για να κάνω ισχυρότερη την ικανότητα ανάλυσης του
υποστήριξητο ακόλουθοΒάση σύνδεσης BI: Συμπεριλαμβανομένων των Tableau, Power BI, FineBI και Smartbi.
Ως αποθήκη δεδομένων σε πραγματικό χρόνο, μπορεί μόνο [Δεύτερο επίπεδο】Συγχρονισμός δεδομένων, μπορεί σε πραγματικό χρόνο【επίπεδο χιλιοστού του δευτερολέπτου】Ρωτώ。
Ο πυρήνας του συστήματος έχει μόνο διαδικασίες FE (Frontend), BE (Backend) ή CN (Compute Node).
Front-end (διεπαφή οθόνης), back-end (λογικός έλεγχος), κόμβος
Μετά την έκδοση 3.0, υποστηρίζεται ο διαχωρισμός της αποθήκευσης και του υπολογισμού και τα μόνιμα δεδομένα πρέπει να αποθηκεύονται στο HDFS. Φυσικά, μπορείτε επίσης να επιλέξετε να ενσωματώσετε την αποθήκευση και τον υπολογισμό.
Το 3.0 υποστηρίζει επίσης και τις δύο αρχιτεκτονικές.
Ποια είναι η διαφορά μεταξύ των δύο, εάν η αποθήκευση και ο υπολογισμός είναι ενσωματωμένοι, πρέπει να αντιγράψετε τα δεδομένα στο startRocks. Υπάρχει ένα λιγότερο βήμα για την αντιγραφή Ο διαχωρισμός αποθήκευσης και υπολογισμού εξοικονομεί χρήματα και δίσκους και επιτρέπει την καλύτερη δυναμική επέκταση. Το μειονέκτημα είναι ότι πρέπει να διατηρήσετε ένα επιπλέον σύνολο εξωτερικών δεδομένων.
Η υβριδική ανάπτυξη δεν υποστηρίζεται Εάν ο χώρος αποθήκευσης και ο υπολογισμός είναι ενσωματωμένοι, δεν μπορείτε να διαχωρίσετε τον χώρο αποθήκευσης και τον υπολογιστή.
Η Fe είναι υπεύθυνη για το συντονισμό και τη διαχείριση καταλόγου
Να είσαι υπεύθυνοςαποθήκευσηκαιυπολογίζω
Fe (αναλυτική έκδοση)：
Υπεύθυνος διαχείρισηςμεταδεδομένα, διαχείριση των συνδέσεων πελατών,προγραμματισμός ερωτημάτων, προγραμματισμός ερωτημάτων.
Τα μεταδεδομένα FE αποθηκεύονται στη μνήμη και υπάρχει επίσης ένα αντίγραφο στο δίσκο.
Η FE έχει τρεις ρόλους, ηγέτη, ακόλουθος και παρατηρητής
Ο Αρχηγός εκλέγεται και είναι υπεύθυνος για την ανάγνωση και τη γραφή. Στη συνέχεια, μετά τη σύνταξη, τα μεταδεδομένα ενημερώνονται και συγχρονίζονται με τους ακόλουθους και τους παρατηρητές.
Το Follwer δεν έχει άδεια εγγραφής, μόνο άδεια ανάγνωσης
Ο παρατηρητής, όπως και ο ακόλουθος, είναι προαιρετικός για ανάπτυξη, μπορεί να βελτιώσει την ταχύτητα ερωτημάτων και δεν συμμετέχει σε εκλογές, κάτι που ισοδυναμεί με την προσθήκη περισσότερης δύναμης σε μια τίγρη.
Be (αναλυτική έκδοση)：
Κάθε BE είναι το ίδιο (χωρίς αρχηγό ή ακόλουθο), αλλά δεν έχει όλα τα BE πλήρη δεδομένα.
Ο υπολογισμός Be θα χωρίσει το sql σε λογικές μονάδες (επίπεδο κώδικα) σύμφωνα με τη γραμματική σημασία και στη συνέχειαΣύμφωνα με τη διανομή δεδομένωνΓίνετε φυσική μονάδα (επίπεδο υλικού) και στη συνέχεια εκτελέστε τοπικά.
Μεταδεδομένα: Κανείς δεν το ξέρει αυτό, για να είμαι ειλικρινής, δεν θέλω καν να το γράψω, απλώς για να φροντίσω τον Xiaobai. Για παράδειγμα, τι τύπος δεδομένων είναι, είτε πρόκειται για συμβολοσειρά είτε για αριθμό Αυτά είναι μεταδεδομένα, τα δεδομένα που χρησιμοποιούνται για την τροποποίηση των δεδομένων;
Σχεδιασμός ερωτημάτων: Πόση απόδοση θα καταναλώσει το σχέδιο, ποια SQL πρέπει να χρησιμοποιηθεί, να βελτιστοποιηθεί και να μετατραπεί σε φυσικό σχέδιο
Προγραμματισμός ερωτήματος: επιλέξτε ποια είναι η εκτέλεση αυτού του φυσικού σχεδίου
Η μικρότερη μονάδα αποθήκευσης του starRocks ονομάζεται tablet. Μπορούμε να χωρίσουμε τους εαυτούς μας και μετά να καθορίσουμε κουβάδες.
Η εικόνα διαιρείται από τη στήλη του χρόνου και, στη συνέχεια, καθορίζονται κάδοι για 4 πεδία (4 στήλες, στην πραγματικότητα, 1 στήλη μπορούν να χρησιμοποιηθούν) και στη συνέχεια καθορίζονται 3 αντίγραφα και τα δεδομένα κάθε στήλης και κάθε μονάδας δεδομένων είναι κατανεμημένα σε διαφορετικούς κάτω κόμβους. Τα A-1, A-2 και A-3 είναι όλα τα ίδια δεδομένα και αποτελούν αντίγραφα ασφαλείας του A.
Όταν επεκτείνεται, δεν χρειάζεται να σταματήσετε την υπηρεσία Η προσθήκη κόμβων θα μετεγκατασταθεί αυτόματα και όταν ο αριθμός των κόμβων μειωθεί, τα δεδομένα θα κατανεμηθούν αυτόματα ομοιόμορφα.
εισήγαγε【κρύπτη】έννοια, το Be είναι [μόνο] υπεύθυνο για τον υπολογισμό, και μετάΜετονομάστηκε σε Cn(υπολογιστικός κόμβος-υπολογιστικός κόμβος)
Προσωρινή αποθήκευση: Τα δεδομένα θα αποθηκευτούν αυτόματα στην κρυφή μνήμη με βάση τη συχνότητα των ερωτημάτων.Δυναμικές αλλαγές
Δυναμικές αλλαγές: χωρίζονται σε 3 επίπεδα, μνήμη, τοπική και εξωτερική πηγή. Τα πιο καυτά δεδομένα βρίσκονται στη μνήμη, μετά τα υπόλοιπα στον τοπικό δίσκο και, στη συνέχεια, τα ψυχρά δεδομένα (που χρησιμοποιούνται λιγότερο συχνά) βρίσκονται σε εξωτερικές πηγές.Δυναμική προσαρμογή δεδομένων με βάση τη συχνότητα πρόσβασής σας
Όταν δημιουργείτε έναν πίνακα χρησιμοποιώντας ξεχωριστό χώρο αποθήκευσης και υπολογισμούς, πρέπει να του πείτε εάν θα ενεργοποιήσει την προσωρινή αποθήκευση.
Υποστηρίζεται ο ακόλουθος αποθηκευτικός χώρος αποθήκευσης:
Έχω τελειώσει κάθε πρόταση σχετικά με την αρχιτεκτονική συστήματος του επίσημου ιστότοπου εδώ με δικά μου λόγια. Ξεκινήστε να χτίζετε παρακάτω.
Χρησιμοποιεί ένα κοντέινερ docker για να συσκευάσει το περιβάλλον για εσάς, ώστε να μπορεί να ξεκινήσει απευθείας.
Πρώτα εγκαταστήστε το docker, με τουλάχιστον 4G μνήμης και 10GB χώρου.
Η CPU του διακομιστή μας δεν υποστηρίζει avx2 Εδώ τρέχω μια εικονική μηχανή και σκοπεύω να αποκτήσω ένα Ubuntu.22 στα Windows, επειδή ο προσωπικός μου υπολογιστής υποστηρίζει avx2. ---Όταν ολοκληρώσω τη λήψη, θα αρχίσω να γράφω και τα υπόλοιπα.
αναφέρομαι σε:
Έχει αφοσιωθεί στην έρευνα της τεχνολογίας για περισσότερα από 30 χρόνια και είναι ικανός σε διάφορες γλώσσες όπως java, linux, javascript, php, css κ.λπ. Έχει κάνει πολλές συνεισφορές στον τομέα του ανοιχτού κώδικα σταθμός τεκμηρίωσης προγραμματιστή για να μοιραστείτε ορισμένα ζητήματα στην ανάπτυξη τεχνολογίας για μελλοντική αναφορά
Ταχυδρομείο[email protected]