Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Περιεχόμενο κεφαλαίου

Στην προηγούμενη ενότητα ολοκληρώσαμε το ακόλουθο περιεχόμενο:

• Γράψτε ένα σενάριο SQL για τη δημιουργία δεδομένων
• Ξεκινήστε τις εξαρτώμενες υπηρεσίες μας: HDFS, Hive, YARN
• Το Sqoop εισάγει όλα τα δεδομένα στο Hive
• Προβολή MapReduce status, προβολή αποτελεσμάτων HDFS

Ιστορικό εισαγωγή

Ακολουθούν τρεις διακομιστές cloud δημόσιου δικτύου, ο καθένας 2C4G, οι οποίοι δημιουργούν ένα περιβάλλον μάθησης Hadoop για να μάθω.
Το έχω δημιουργήσει σε εικονική μηχανή εικονικής πραγματικότητας μια φορά στο παρελθόν, αλλά δεν άφησα σημειώσεις Αυτή τη φορά, εκμεταλλεύτηκα τα 3 μηχανήματα που είχα πάρει πριν από λίγες μέρες και προσπάθησα γρήγορα να το δημιουργήσω στο δημόσιο δίκτυο. ζήστε το.

• 2C4G Αρ. h121
• 2C4G Αρ. h122
• 2C2G Αρ.h123

Προφυλάξεις

Apache Sqoop 于 2021 年 6 月迁入 Attic。
Η αποστολή του Apache Sqoop είναι να δημιουργεί και να διατηρεί λογισμικό μεταφοράς δεδομένων μεγάλης κλίμακας που σχετίζεται με το Apache Hadoop και τη δομημένη αποθήκευση δεδομένων.
Αν και το έργο μπορεί να είναι ξεπερασμένο, αν έχετε αρκετό χρόνο, μπορείτε να το μελετήσετε σωστά και μπορεί να σας βοηθήσει κάπως! ! !

Μερική εισαγωγή: --ερώτημα

Εκτέλεση σεναρίου

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--append 
-m 1 
--fields-terminated-by "t" 
--query 'select gname, serialNumber, price, stock_number,
create_time from goodtbl where price>88 and $CONDITIONS;'
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Το μέρος όπου η δήλωση ερωτήματος πρέπει να περιέχει "$CONDITIONS"
• Εάν χρησιμοποιούνται διπλά εισαγωγικά μετά το ερώτημα, ένα σύμβολο μεταφοράς πρέπει να προστεθεί πριν από τις $CONDITIONS για να αποτρέψει το κέλυφος να πιστεύει ότι είναι η δική του μεταβλητή.

Εργασίες

Μπορεί να παρατηρηθεί ότι το Sqoop ξεκινά την εργασία MapReduce

Αναμονή για εκτέλεση

Σε αυτό το σημείο η εργασία έχει αρχίσει να εκχωρείται Χάρτης -> Μείωση

Προβολή αποτελεσμάτων

Μπορείτε να δείτε ότι η εργασία ολοκληρώθηκε

Μερική εισαγωγή: καθορίστε στήλες

Εκτέλεση σεναρίου

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--columns gname,serialNumber,price 
--table goodtbl
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Εάν εμπλέκονται πολλές στήλες σε στήλες, διαχωρίστε τις με κόμμα και μην προσθέτετε κενά! ! !

Εργασίες

Σύμφωνα με το παραπάνω περιεχόμενο, το επαναλαμβανόμενο περιεχόμενο δεν θα συμπεριληφθεί και μόνο μέρος θα υποκλαπεί.

Μερική εισαγωγή: --όπου

Εκτέλεση σεναρίου

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
-m 1 
--fields-terminated-by "t" 
--table goodtbl 
--where "price>=68"
1
2
3
4
5
6
7
8
9
10

Εργασίες

Σύμφωνα με τα παραπάνω, το περιεχόμενο, τα αποτελέσματα κ.λπ. βασικά επαναλαμβάνονται και δεν θα διαγραφούν.