Technology sharing

Hadoop-23 Sqoop data MySQL ad HDFS (part) SQL data HDFS botrus Sqoop import jdbc ETL MapReduce

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Caput content

Praecedente sectione sequenti contenta absolvimus:

  • Scribere SQL scriptor notitia ut generate
  • Committitur officia nostra dependens: HDFS, Hive, YARN
  • Sqoop importat omnia data in Hive
  • View MapReduce statum, visum HDFS eventum

Background introductio

Hic tres nubes retis publici servientes, singuli 2C4G, Hadoop ambitum discendi ad discendum aedificantes.
Hanc machinam virtualem VM antea aedificavi, sed notas non reliquit. Hoc tempore usus sum tribus machinis quas ante paucos dies sustuli et celeriter in retis publici ad eam aedificare conatus sum. experiri.

  • 2C4G No.h121
  • 2C4G No. h122
  • 2C2G No.h123

Insert imaginem descriptionis hic

Cautiones

Apache Sqoop 于 2021 年 6 月迁入 Attic。
Missio Apache Sqoop est creare et conservare notitias magnas translationis programmatis ad Apache Hadoop pertinentia et data repositione structa.
Etsi consilium iampridem potest, si tempus satis est, studere recte potes, et tibi aliquid auxilii esse! ! !

Partialis import: --query

Supplicium scriptor

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--append 
-m 1 
--fields-terminated-by "t" 
--query 'select gname, serialNumber, price, stock_number,
create_time from goodtbl where price>88 and $CONDITIONS;'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

上述参数的解释:

  • Ubi pars propositionis interrogationis debet continere '$ CONDICIONES'
  • Si duplices notae post interrogationem adhibentur, symbolum translatio addenda est ante $ CONDICIONES, quominus putamen putandum sit suum esse variabile.

destinationes

Observari potest quod Sqoop incipit negotium MapReduce
Insert imaginem descriptionis hic

Expectans supplicium

Hic negotium incepit ut Map -> Reducere
Insert imaginem descriptionis hic

Visum Proventuum

Potes videre quod negotium perficitur
Insert imaginem descriptionis hic

Partialis import: specificare columnas

Supplicium scriptor

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--columns gname,serialNumber,price 
--table goodtbl
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

上述参数的解释:

  • Si plures columnae involvantur columnis, eas commatibus separa et spatia non addas! ! !

destinationes

Cum supra contentis, repetita contenta non continebitur et sola pars intercipietur.
Insert imaginem descriptionis hic

Partialis import: --where

Supplicium scriptor

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
-m 1 
--fields-terminated-by "t" 
--table goodtbl 
--where "price>=68"
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

destinationes

Congruunt cum superioribus, contentum, eventum, etc. basically iterantur et non delebuntur.

Quaeso addere imaginem descriptionem