技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

PostgreSQL では、データの重複排除は一般的かつ重要なタスクです。重複排除は、単純なデータ型または複雑なデータ構造に適用できます。このガイドでは、PostgreSQL でデータ重複排除を実装する方法を詳しく説明し、さまざまな状況に応じたソリューションと具体的なサンプル コードを提供します。

1. 基本的なデータ型の重複排除

整数、文字列などの基本的なデータ型の場合は、次を使用できます。 DISTINCT 重複排除を実現するためのキーワード。

SELECT DISTINCT column_name
FROM your_table;
1
2

たとえば、というファイルがあるとします。 students テーブル、これには次の内容が含まれますname 列 (文字列型)、一意の生徒名を取得するには、次のように記述できます。

SELECT DISTINCT name
FROM students;
1
2

説明する： DISTINCT このキーワードにより、返される結果セットに重複行が含まれないことが保証されます。

2. 複数列データの重複排除

複数の列に基づいて重複排除を行う必要がある場合は、次のようにすることができます。 DISTINCT キーワードの後に​​複数の列を指定します。

SELECT DISTINCT column1, column2
FROM your_table;
1
2

たとえば、 orders テーブル、含むcustomer_id そしてproduct_id 一意の顧客と製品の組み合わせを取得するための 2 つの列:

SELECT DISTINCT customer_id, product_id
FROM orders;
1
2

説明: 上記のクエリは異なる値を返します。 customer_id そしてproduct_id 組み合わせ。

3. 複雑なデータ構造の重複排除

配列や構造体などの複雑なデータ構造を含むデータを処理する場合、重複排除方法は異なります。

(1) 配列型の重複排除

PostgreSQL は、配列の重複排除を処理する関数を提供します。

SELECT ARRAY(SELECT DISTINCT unnest(array_column)) AS distinct_array
FROM your_table;
1
2

テーブルがあると仮定します users 、列がありますhobbies これは整数配列タイプであり、各ユーザーのさまざまな趣味の配列を取得するには:

SELECT ARRAY(SELECT DISTINCT unnest(hobbies)) AS distinct_hobbies
FROM users;
1
2

説明: 初めての使用 unnest この関数は配列を行に展開してから適用します。DISTINCT 重複排除を実行して最終的に使用するARRAY この関数は、重複排除された結果を配列に再構築します。

(2) JSON型の重複排除

データが保存されている場合は、 JSON タイプ列は次のように抽出できます。JSON の値は重複排除されます。

SELECT DISTINCT json_extract_path_text(json_column, 'key') AS distinct_value
FROM your_table;
1
2

たとえば、という名前のファイルの場合、 employee_details テーブル、そこにはjson リストinfo 、含むsalary さまざまな給与値を取得するためのキーと値のペア:

SELECT DISTINCT json_extract_path_text(info, 'alary') AS distinct_salary
FROM employee_details;
1
2

説明する： json_extract_path_text 関数はから取得するために使用されますJSON データから指定されたキーの値を抽出し、抽出された値の重複を除去します。

(3) 構造型（複合型）の重複排除

カスタム構造タイプの場合、結合重複排除のために構造のフィールドを抽出できます。

構造体の型が定義されているとします。 address_type 、含むstreet そしてcity 2 つのフィールド、テーブルcontacts にコラムがありますaddress はいaddress_type タイプ。

SELECT DISTINCT address.street, address.city
FROM contacts;
1
2

説明: 構造体のフィールドに直接アクセスして、重複排除操作を実行します。

4. 使用する GROUP BY 重複排除を実行する

GROUP BY この句は、特にデータに対して集計計算を実行し、同時に重複排除を実行する必要がある場合に、重複排除の効果を実現するために使用することもできます。

SELECT column_name
FROM your_table
GROUP BY column_name;
1
2
3

たとえば、取得するには students テーブル内のさまざまなクラス:

SELECT class
FROM students
GROUP BY class;
1
2
3

説明する： GROUP BY 同じ値を持つ行はグループ化されるため、重複排除の効果が得られます。

5. Null値を含むデータの重複排除

データに null 値が含まれる可能性がある場合、重複排除には特別な注意が必要です。 DISTINCT 意思NULL 値は別個の値として扱われます。ご希望の場合はNULL 重複排除では値は同じとみなされます。次の方法を使用できます。

SELECT COALESCE(column_name, 'default_value')
FROM your_table
GROUP BY COALESCE(column_name, 'default_value');
1
2
3

たとえば、 product_prices テーブルの中でprice 列 (含まれる場合があります)NULL 値)、にNULL 重複排除の場合、値は同一のものとして扱われます。

SELECT COALESCE(price, 0)
FROM product_prices
GROUP BY COALESCE(price, 0);
1
2
3

説明する： COALESCE 関数は処理に使用されますNULL 値を指定し、指定されたデフォルト値に置き換えて、置き換えられた結果に基づいてグループ化と重複排除を実行します。

6. パフォーマンスに関する考慮事項

データ重複排除操作を実行するときは、データ量とパフォーマンスを考慮する必要があります。大規模なデータ セットの場合、インデックスを使用すると重複排除操作のパフォーマンスが向上します。

特定の列に対して重複排除操作を頻繁に実行する場合は、その列のインデックスを作成できます。

CREATE INDEX index_name ON your_table (column_name);
1

さらに、適切な重複排除方法の選択もパフォーマンスに影響を与える可能性があります。たとえば、データ量が多く、実際の一意の値ではなく一意の値の数のみを取得する必要がある場合は、次を使用します。 COUNT(DISTINCT) おそらく直接使用するよりも良いでしょうDISTINCT もっと効率的。

7. サンプルコードの包括的な適用

があると仮定します sales テーブル、含むcustomer_id (整数型)、product_name (文字列型) とsale_amount （浮動小数点型）列。

さまざまな顧客が購入したさまざまな製品のリストを取得するには、次のクエリを使用できます。

SELECT DISTINCT customer_id, product_name
FROM sales;
1
2

各顧客の合計売上を取得し、同時に顧客の重複を達成したい場合は、次のように記述できます。

SELECT customer_id, SUM(sale_amount) AS total_sales
FROM sales
GROUP BY customer_id;
1
2
3

仮説 sales テーブルの中でproduct_name 列には null 値が含まれる場合があります。重複排除の場合、null 値を同じものとして扱うには、次を使用できます。

SELECT COALESCE(product_name, 'Unknown Product')
FROM sales
GROUP BY COALESCE(product_name, 'Unknown Product');
1
2
3

もし sales テーブル内のデータの量は非常に多く、多くの場合、以下に基づいています。customer_id 列に対して重複排除を実行するには、列のインデックスを作成します。

CREATE INDEX sales_customer_id_index ON sales (customer_id);
1

8. まとめ

PostgreSQL でデータ重複排除を実装するには、データの種類と特定のビジネス要件に基づいて適切な方法を選択する必要があります。基本的なデータ型が使用可能DISTINCT キーワード、配列などの複雑なデータ構造の場合、JSON カスタム構造は、重複排除を実現するために特定の機能や操作と組み合わせる必要がある場合があります。同時に、パフォーマンス要因を考慮し、合理的にインデックスを作成し、最適な重複排除戦略を選択することが重要です。上記の例と説明を通じて、さまざまなビジネス ニーズを満たすために PostgreSQL でデータ重複排除操作を効果的に実行できるように支援したいと考えています。

🎉相关推荐

• 🍅关注博主🎗️ テクノロジーの世界を探索して、成長の機会を逃すことはありません!
• 📢学习做技术博主创收
• 📚领书：PostgreSQL 入门到精通.pdf
• 📙PostgreSQL 中文手册
• 📘PostgreSQL 技术专栏