Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Содержание главы

В предыдущем разделе мы завершили следующий контент:

• Напишите SQL-скрипт для генерации данных.
• Запустите наши зависимые службы: HDFS, Hive, YARN.
• Sqoop импортирует все данные в Hive
• Просмотр статуса MapReduce, просмотр результатов HDFS

Предыстория

Вот три облачных сервера общедоступной сети, каждый 2C4G, которые создают среду обучения Hadoop, в которой я могу учиться.
Однажды я уже собирал его на виртуальной машине виртуальной машины, но на этот раз я не оставил никаких записей и воспользовался тремя машинами, которые собрал за последние несколько дней, и быстро попытался собрать его в общедоступной сети. испытать это.

• 2С4Г №х121
• 2С4Г №х122
• 2С2Г №х123

Меры предосторожности

Apache Sqoop 于 2021 年 6 月迁入 Attic。
Миссия Apache Sqoop — создание и поддержка крупномасштабного программного обеспечения для передачи данных, связанного с Apache Hadoop и структурированным хранилищем данных.
Хоть проект и может быть устаревшим, но если у вас есть достаточно времени, вы можете его как следует изучить и возможно он вам чем-то поможет! ! !

Частичный импорт: --query

Выполнить скрипт

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--append 
-m 1 
--fields-terminated-by "t" 
--query 'select gname, serialNumber, price, stock_number,
create_time from goodtbl where price>88 and $CONDITIONS;'
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Часть оператора запроса должна содержать $CONDITIONS.
• Если после запроса используются двойные кавычки, перед $CONDITIONS необходимо добавить символ переноса, чтобы оболочка не считала это своей собственной переменной.

Задания

Можно заметить, что Sqoop запускает задачу MapReduce.

Ожидание исполнения

На этом этапе задача начала выделяться. Карта -> Сокращение

Посмотреть Результаты

Вы видите, что задача выполнена.

Частичный импорт: укажите столбцы

Выполнить скрипт

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--columns gname,serialNumber,price 
--table goodtbl
1
2
3
4
5
6
7
8
9
10

上述参数的解释：

• Если в столбцах задействовано несколько столбцов, разделяйте их запятыми и не добавляйте пробелы! ! !

Задания

В соответствии с вышеуказанным контентом повторяющийся контент не будет включен, а будет перехвачена только часть.

Частичный импорт: --where

Выполнить скрипт

sqoop import 
--connect jdbc:mysql://h122.wzk.icu:3306/sqoop 
--username hive 
--password [email protected] 
--target-dir /root 
--delete-target-dir 
-m 1 
--fields-terminated-by "t" 
--table goodtbl 
--where "price>=68"
1
2
3
4
5
6
7
8
9
10

Задания

В соответствии с вышеизложенным контент, результаты и т. д. в основном повторяются и не будут удалены.