Ringkasan tipe data dan format penyimpanan di Hive

2024-07-12

1.Jenis data

Hive mendukung beberapa tipe data, dibagi menjadi dua kategori: tipe data primitif dan tipe data kompleks. Berikut ini adalah tipe data yang didukung oleh Hive:

Tipe data primitif:

1. Tipe bilangan bulat:

                kecil sekali: Bilangan bulat bertanda 1 byte
               huruf kecil: Bilangan bulat bertanda 2 byte
               inti: Bilangan bulat bertanda 4-byte
                besarin: Bilangan bulat bertanda 8 byte
               mengambang: Nomor floating point presisi tunggal 4 byte
               dobel: Angka floating point presisi ganda 8-byte
                desimal: Jenis angka presisi tinggi, presisi dan skala dapat ditentukan, seperti desimal (10,2)

Byte: Salah satu unit penyimpanan paling dasar di komputer, 1 byte menempati 8 bit, rentang data: rentang negatif: -128 hingga -1, rentang positif: 0 hingga 127

2. Jenis senar:

                rangkaian: string dengan panjang variabel
               varchar: String dengan panjang variabel dengan batas panjang maksimum, seperti varchar(255)
               arang: String dengan panjang tetap, seperti char(10)

3.Jenis tanggal/waktu:

                cap waktu: Stempel waktu berisi tanggal dan waktu, akurat hingga nanodetik
               tanggal: Hanya berisi bagian tanggal, bukan bagian waktu
                selang: Interval waktu, digunakan untuk menyatakan perbedaan antara dua tanggal atau waktu

4. Tipe Boolean:

Bahasa Inggris Boolean: Nilai Boolean, nilainya benar atau salah

5. Tipe biner:

biner: array byte dengan panjang sewenang-wenang

Tipe data kompleks:

1.Jenis array

Himpunan<T> : Daftar terurut yang berisi beberapa elemen dengan tipe yang sama, seperti array<int>

2. Jenis pemetaan

peta<K, V> : Kumpulan pasangan nilai kunci yang tidak berurutan, dengan kunci dan nilai dapat berupa tipe data apa pun, seperti peta<string, int>

3. Tipe struktur

struktur<col1: type1, col2: type2, ...> : Catatan yang berisi beberapa bidang, setiap bidang dapat memiliki tipe data yang berbeda, misalnya.struktur<name: string, age: int>


CREATE TABLE example_table (
  tinyint_col tinyint,
  smallint_col smallint,
  int_col int,
  bigint_col bigint,
  float_col float,
  double_col double,
  decimal_col decimal(10, 2),
  string_col string,
  varchar_col varchar(255),
  char_col char(10),
  timestamp_col timestamp,
  date_col date,
  boolean_col boolean,
  binary_col binary,
  array_col array<int>,
  map_col map<string, int>,
  struct_col struct<name: string, age: int>,
  union_col uniontype<int, string>
);

2. Format penyimpanan file sarang

format penyimpanan Hive dibagi menjadi dua kategori:

Jenis file teks biasa: file teks, yang tidak dikompresi dan juga merupakan format penyimpanan default Hive.

Salah satu kategori adalah penyimpanan file biner:

sequencefile: akan dikompresi dan data tidak dapat dimuat menggunakan metode load.

orcfile: akan dikompresi dan data tidak dapat dimuat menggunakan metode load.

parket: akan dikompresi dan data tidak dapat dimuat menggunakan metode pemuatan.

rcfile: Ini dapat mengompresi dan tidak dapat memuat data menggunakan metode load.

Format penyimpanan file teks dan file urutan didasarkan pada penyimpanan baris; orc dan parket didasarkan pada penyimpanan kolom, dan rcfile adalah penyimpanan baris dan kolom campuran.

Saat membuat tabel, Anda dapat menggunakan disimpan sebagai parket untuk menentukan format penyimpanan tabel, misalnya:


create table if not exists stocks_parquet (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
stored as parquet;

Ubah format penyimpanan default sarang:


<property>
    <name>hive.default.fileformat</name>
    <value>TextFile</value>
    <description>
    Expects one of [textfile, sequencefile, rcfile, orc].
    Default file format for CREATE TABLE statement. Users can explicitly override it by CREATE TABLE ... STORED AS [FORMAT]
    </description>
</property>
也可以使用set方式修改：
set hive.default.fileformat=TextFile

Berbagi teknologi