Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Dans PostgreSQL, la déduplication des données est une tâche courante et importante. La déduplication peut être appliquée à des types de données simples ou à des structures de données complexes. Ce guide explorera en détail comment implémenter la déduplication des données dans PostgreSQL et fournira des solutions et des exemples de codes spécifiques pour différentes situations.

1. Déduplication des types de données de base

Pour les types de données de base, tels que les entiers, les chaînes, etc., vous pouvez utiliser DISTINCT Mots-clés pour réaliser la déduplication.

SELECT DISTINCT column_name
FROM your_table;
1
2

Par exemple, supposons qu'il existe un fichier appelé students tableau, qui contientname Colonne (type chaîne), pour obtenir des noms d'élèves uniques, vous pouvez écrire comme ceci :

SELECT DISTINCT name
FROM students;
1
2

expliquer: DISTINCT Le mot-clé garantit que le jeu de résultats renvoyé ne contient pas de lignes en double.

2. Déduplication des données multi-colonnes

Si vous devez effectuer une déduplication sur plusieurs colonnes, vous pouvez DISTINCT Spécifiez plusieurs colonnes après le mot-clé.

SELECT DISTINCT column1, column2
FROM your_table;
1
2

Par exemple, pour orders tableau, contenantcustomer_id etproduct_id Deux colonnes, pour obtenir des combinaisons clients et produits uniques :

SELECT DISTINCT customer_id, product_id
FROM orders;
1
2

Explication : La requête ci-dessus renverra différents customer_id etproduct_id combinaison.

3. Déduplication de structures de données complexes

Lors du traitement de données contenant des structures de données complexes telles que des tableaux et des structures, les méthodes de déduplication seront différentes.

(1) Déduplication des types de tableaux

PostgreSQL fournit des fonctions pour gérer la déduplication des tableaux.

SELECT ARRAY(SELECT DISTINCT unnest(array_column)) AS distinct_array
FROM your_table;
1
2

Supposons qu'il y ait une table users , qui a une colonnehobbies Il s'agit d'un type de tableau entier. Pour obtenir les différents tableaux de loisirs de chaque utilisateur :

SELECT ARRAY(SELECT DISTINCT unnest(hobbies)) AS distinct_hobbies
FROM users;
1
2

Explication : Première utilisation unnest La fonction développe un tableau en lignes, puis appliqueDISTINCT Effectuez la déduplication et enfin utilisezARRAY La fonction réassemble les résultats dédupliqués dans un tableau.

(2) Déduplication de type JSON

Si les données sont stockées dans JSON La colonne Type peut être extraite parJSON Les valeurs sont dédupliquées.

SELECT DISTINCT json_extract_path_text(json_column, 'key') AS distinct_value
FROM your_table;
1
2

Par exemple, pour un fichier appelé employee_details tableau dans lequel se trouve unjson Listeinfo ,Incluresalary Paires clé-valeur, pour obtenir différentes valeurs de salaire :

SELECT DISTINCT json_extract_path_text(info, 'alary') AS distinct_salary
FROM employee_details;
1
2

expliquer: json_extract_path_text la fonction est utilisée pour obtenir deJSON Extrayez la valeur de la clé spécifiée des données, puis dédupliquez la valeur extraite.

(3) Déduplication des types de structure (types composites)

Pour les types de structure personnalisés, vous pouvez extraire les champs de la structure pour une déduplication conjointe.

Supposons qu'un type de structure soit défini address_type ,Inclurestreet etcity Deux champs, tablecontacts Il y a une colonne dansaddress Ouiaddress_type taper.

SELECT DISTINCT address.street, address.city
FROM contacts;
1
2

Explication : Effectuez les opérations de déduplication en accédant directement aux champs de la structure.

4. Utiliser GROUP BY Effectuer la déduplication

GROUP BY La clause peut également être utilisée pour obtenir l'effet de déduplication, en particulier lorsqu'il est nécessaire d'effectuer des calculs d'agrégation sur les données et d'effectuer une déduplication en même temps.

SELECT column_name
FROM your_table
GROUP BY column_name;
1
2
3

Par exemple, pour obtenir students Différentes classes dans le tableau :

SELECT class
FROM students
GROUP BY class;
1
2
3

expliquer: GROUP BY Les lignes ayant la même valeur seront regroupées, obtenant ainsi l'effet de déduplication.

5. Traitement et déduplication des données contenant des valeurs nulles

Lorsque les données peuvent contenir des valeurs nulles, la déduplication nécessite une attention particulière. DISTINCT volontéNULL les valeurs sont traitées comme des valeurs distinctes.Si vous souhaitezNULL Les valeurs sont considérées comme identiques pour la déduplication. Vous pouvez utiliser les méthodes suivantes :

SELECT COALESCE(column_name, 'default_value')
FROM your_table
GROUP BY COALESCE(column_name, 'default_value');
1
2
3

Par exemple, pour product_prices dans la tableprice colonnes (peut contenirNULL valeur), àNULL Les valeurs sont traitées comme identiques pour la déduplication :

SELECT COALESCE(price, 0)
FROM product_prices
GROUP BY COALESCE(price, 0);
1
2
3

expliquer: COALESCE la fonction est utilisée pour traiterNULL valeur, remplacez-la par la valeur par défaut spécifiée, puis effectuez le regroupement et la déduplication en fonction du résultat remplacé.

6. Considérations relatives aux performances

Lors de l'exécution d'opérations de déduplication de données, le volume de données et les performances doivent être pris en compte. Pour les ensembles de données volumineux, l'utilisation d'index peut améliorer les performances des opérations de déduplication.

Si vous effectuez fréquemment des opérations de déduplication sur une certaine colonne, vous pouvez créer un index pour cette colonne.

CREATE INDEX index_name ON your_table (column_name);
1

De plus, le choix de la méthode de déduplication appropriée peut également avoir un impact sur les performances.Par exemple, si la quantité de données est importante et que vous n'avez besoin d'obtenir que le nombre de valeurs uniques plutôt que les valeurs uniques réelles, utilisezCOUNT(DISTINCT) Probablement mieux que de l'utiliser directementDISTINCT Plus efficace.

7. Application complète de l'exemple de code

Supposons qu'il y ait un sales tableau, contenantcustomer_id (type entier),product_name (type de chaîne) etsale_amount (type à virgule flottante).

Pour obtenir une liste des différents produits achetés par différents clients, vous pouvez utiliser la requête suivante :

SELECT DISTINCT customer_id, product_name
FROM sales;
1
2

Si vous souhaitez obtenir les ventes totales de chaque client et réaliser en même temps une duplication de clients, vous pouvez écrire comme ceci :

SELECT customer_id, SUM(sale_amount) AS total_sales
FROM sales
GROUP BY customer_id;
1
2
3

hypothèse sales dans la tableproduct_name Les colonnes peuvent contenir des valeurs nulles. Pour traiter les valeurs nulles de la même manière pour la déduplication, vous pouvez utiliser :

SELECT COALESCE(product_name, 'Unknown Product')
FROM sales
GROUP BY COALESCE(product_name, 'Unknown Product');
1
2
3

si sales La quantité de données dans le tableau est très importante et elle est souvent basée surcustomer_id Pour effectuer une déduplication sur une colonne, vous pouvez créer un index pour la colonne :

CREATE INDEX sales_customer_id_index ON sales (customer_id);
1

8. Résumé

La mise en œuvre de la déduplication des données dans PostgreSQL nécessite de choisir une méthode appropriée en fonction du type de données et des exigences métier spécifiques.Les types de données de base peuvent être utilisésDISTINCT mot-clé, pour les structures de données complexes telles que les tableaux,JSON et des structures personnalisées, qui peuvent devoir être combinées avec des fonctions et des opérations spécifiques pour réaliser la déduplication. Dans le même temps, il est important de prendre en compte les facteurs de performances, de créer raisonnablement des index et de choisir la stratégie de déduplication optimale. Grâce aux exemples et explications ci-dessus, nous espérons vous aider à effectuer efficacement des opérations de déduplication de données dans PostgreSQL pour répondre aux divers besoins de votre entreprise.

🎉相关推荐

• 🍅关注博主🎗️ Vous emmène explorer le monde de la technologie et ne manquez aucune opportunité de croissance !
• 📢学习做技术博主创收
• 📚领书：PostgreSQL 入门到精通.pdf
• 📙PostgreSQL 中文手册
• 📘PostgreSQL 技术专栏