Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Luvun sisältö

Edellisessä osiossa täydensimme seuraavan sisällön:

• Kirjoita SQL-skripti tietojen luomiseksi
• Aloita riippuvaiset palvelumme: HDFS, Hive, YARN
• Sqoop tuo kaikki tiedot Hiveen
• Näytä MapReducen tila, katso HDFS-tuloksia

Tausta esittely

Tässä on kolme julkisen verkon pilvipalvelinta, kukin 2C4G, jotka rakentavat Hadoop-oppimisympäristön opittavaksi.
Olen rakentanut sen VM-virtuaalikoneelle kerran aiemmin, mutta en jättänyt muistiinpanoja tällä kertaa, hyödynsin muutama päivä sitten hankkimani kolme konetta ja yritin nopeasti rakentaa sen julkiseen verkkoon. kokea se.

• 2C4G nro h121
• 2C4G nro h122
• 2C2G No.h123

Varotoimenpiteet

Apache Sqoop 于 2021 年 6 月迁入 Attic。
Apache Sqoopin missiona on luoda ja ylläpitää Apache Hadoopiin ja strukturoituun tiedonsiirtoon liittyviä laajamittaisia ​​tiedonsiirtoohjelmistoja.
Vaikka projekti saattaa olla vanhentunut, niin jos sinulla on tarpeeksi aikaa, voit tutkia sitä kunnolla ja siitä voi olla sinulle apua! ! !

Osittainen tuonti: --query

Suorita komentosarja

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--append 
-m 1 
--fields-terminated-by "t" 
--query 'select gname, serialNumber, price, stock_number,
create_time from goodtbl where price>88 and $CONDITIONS;'
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Kyselylauseen where-osan tulee sisältää $CONDITIONS
• Jos kyselyn jälkeen käytetään lainausmerkkejä, siirtosymboli on lisättävä ennen $CONDITIONS, jotta komentotulkki ei ajattele, että se on oma muuttujansa.

Tehtävät

Voidaan havaita, että Sqoop käynnistää MapReduce-tehtävän

Toteutusta odotellessa

Tässä vaiheessa tehtävää on alettu jakaa Kartta -> Vähennä

Näytä tulokset

Näet, että tehtävä on suoritettu

Osittainen tuonti: määritä sarakkeet

Suorita komentosarja

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--columns gname,serialNumber,price 
--table goodtbl
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Jos sarakkeissa on useita sarakkeita, erota ne pilkuilla äläkä lisää välilyöntejä! ! !

Tehtävät

Yllä olevan sisällön mukaisesti toistuvaa sisältöä ei sisällytetä, ja vain osa siepataan.

Osittainen tuonti: --where

Suorita komentosarja

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
-m 1 
--fields-terminated-by "t" 
--table goodtbl 
--where "price>=68"
1
2
3
4
5
6
7
8
9
10

Tehtävät

Yllä olevan mukaisesti sisältö, tulokset jne. toistuvat periaatteessa, eikä niitä poisteta.