기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

PostgreSQL에서 데이터 중복 제거는 일반적이고 중요한 작업입니다. 중복 제거는 단순한 데이터 유형이나 복잡한 데이터 구조에 적용될 수 있습니다. 이 가이드에서는 PostgreSQL에서 데이터 중복 제거를 구현하는 방법을 자세히 살펴보고 다양한 상황에 대한 솔루션과 특정 샘플 코드를 제공합니다.

1. 기본 데이터 유형의 중복 제거

정수, 문자열 등과 같은 기본 데이터 유형의 경우 다음을 사용할 수 있습니다. DISTINCT 중복 제거를 달성하기 위한 키워드입니다.

SELECT DISTINCT column_name
FROM your_table;
1
2

예를 들어 다음과 같은 파일이 있다고 가정합니다. students 다음을 포함하는 테이블name 열(문자열 유형)에서 고유한 학생 이름을 얻으려면 다음과 같이 작성할 수 있습니다.

SELECT DISTINCT name
FROM students;
1
2

설명하다: DISTINCT 키워드는 반환된 결과 집합에 중복 행이 포함되지 않도록 합니다.

2. 다중 열 데이터의 중복 제거

여러 열을 기반으로 중복을 제거해야 하는 경우 다음을 수행할 수 있습니다. DISTINCT 키워드 뒤에 여러 열을 지정하십시오.

SELECT DISTINCT column1, column2
FROM your_table;
1
2

예를 들어, orders 테이블, 포함customer_id 그리고product_id 고유한 고객 및 제품 조합을 얻기 위한 두 개의 열:

SELECT DISTINCT customer_id, product_id
FROM orders;
1
2

설명: 위 쿼리는 다른 결과를 반환합니다. customer_id 그리고product_id 콤비네이션.

3. 복잡한 데이터 구조의 중복 제거

배열, 구조 등 복잡한 데이터 구조가 포함된 데이터를 처리하는 경우 중복 제거 방법이 달라집니다.

(1) 어레이 유형의 중복 제거

PostgreSQL은 배열 중복 제거를 처리하는 기능을 제공합니다.

SELECT ARRAY(SELECT DISTINCT unnest(array_column)) AS distinct_array
FROM your_table;
1
2

테이블이 있다고 가정하자 users , 열이 있습니다.hobbies 각 사용자의 다양한 취미 배열을 얻으려면 다음을 수행하십시오.

SELECT ARRAY(SELECT DISTINCT unnest(hobbies)) AS distinct_hobbies
FROM users;
1
2

설명: 처음 사용 unnest 이 함수는 배열을 행으로 확장한 다음 적용합니다.DISTINCT 중복 제거를 수행하고 최종적으로 사용ARRAY 이 함수는 중복 제거된 결과를 배열로 재조립합니다.

(2) JSON 형태의 중복제거

데이터가 다음 위치에 저장되어 있는 경우 JSON 유형 열은 다음과 같이 추출할 수 있습니다.JSON 의 값이 중복 제거됩니다.

SELECT DISTINCT json_extract_path_text(json_column, 'key') AS distinct_value
FROM your_table;
1
2

예를 들어, employee_details 테이블이 있고, 그 안에는json 목록info ,포함하다salary 다양한 급여 값을 얻기 위한 키-값 쌍:

SELECT DISTINCT json_extract_path_text(info, 'alary') AS distinct_salary
FROM employee_details;
1
2

설명하다: json_extract_path_text 함수는 다음에서 가져오는 데 사용됩니다.JSON 데이터에서 지정된 키의 값을 추출한 후 추출된 값을 중복 제거합니다.

(3) 구조 유형(복합 유형)의 중복 제거

사용자 정의 구조 유형의 경우 공동 중복 제거를 위해 구조의 필드를 추출할 수 있습니다.

구조 유형이 정의되었다고 가정합니다. address_type ,포함하다street 그리고city 필드 2개, 테이블contacts 에 열이 있습니다.address 예address_type 유형.

SELECT DISTINCT address.street, address.city
FROM contacts;
1
2

설명: 구조의 필드에 직접 액세스하여 중복 제거 작업을 수행합니다.

4. 사용 GROUP BY 중복 제거 수행

GROUP BY 특히 데이터에 대한 집계 계산을 수행하고 동시에 중복 제거를 수행해야 하는 경우 이 절을 사용하여 중복 제거 효과를 얻을 수도 있습니다.

SELECT column_name
FROM your_table
GROUP BY column_name;
1
2
3

예를 들어, students 표의 다양한 클래스:

SELECT class
FROM students
GROUP BY class;
1
2
3

설명하다: GROUP BY 동일한 값을 가진 행은 함께 그룹화되어 중복 제거 효과를 얻습니다.

5. Null 값이 포함된 데이터 처리 및 중복 제거

데이터에 Null 값이 포함될 수 있는 경우 중복 제거에는 특별한 주의가 필요합니다. DISTINCT ~ 할 것이다NULL 값은 고유한 값으로 처리됩니다.당신이 원한다면NULL 중복 제거 시 값은 동일한 것으로 간주됩니다. 다음 방법을 사용할 수 있습니다.

SELECT COALESCE(column_name, 'default_value')
FROM your_table
GROUP BY COALESCE(column_name, 'default_value');
1
2
3

예를 들어, product_prices 테이블에price 열(다음을 포함할 수 있음)NULL 값),NULL 중복 제거 시 값은 동일하게 처리됩니다.

SELECT COALESCE(price, 0)
FROM product_prices
GROUP BY COALESCE(price, 0);
1
2
3

설명하다: COALESCE 함수는 처리하는 데 사용됩니다.NULL 값을 지정된 기본값으로 대체한 후 대체된 결과를 기반으로 그룹화 및 중복 제거를 수행합니다.

6. 성능 고려 사항

데이터 중복 제거 작업을 수행할 때는 데이터 볼륨과 성능을 고려해야 합니다. 대규모 데이터 세트의 경우 인덱스를 사용하면 중복 제거 작업 성능이 향상될 수 있습니다.

특정 열에 대해 중복 제거 작업을 자주 수행하는 경우 해당 열에 대한 인덱스를 생성할 수 있습니다.

CREATE INDEX index_name ON your_table (column_name);
1

또한 적절한 중복 제거 방법을 선택하는 것도 성능에 영향을 미칠 수 있습니다.예를 들어, 데이터의 양이 많아 실제 고유값이 아닌 고유값 개수만 구하면 되는 경우,COUNT(DISTINCT) 아마 직접 사용하는 것보다 나을 것 같아요DISTINCT 더 효율적입니다.

7. 샘플코드 종합적용

다음이 있다고 가정해보자. sales 테이블, 포함customer_id (정수형),product_name (문자열 유형) 및sale_amount (부동 소수점 유형) 열입니다.

다양한 고객이 구매한 다양한 제품 목록을 얻으려면 다음 쿼리를 사용할 수 있습니다.

SELECT DISTINCT customer_id, product_name
FROM sales;
1
2

각 고객의 총 매출을 구하고 동시에 고객 복제를 달성하려면 다음과 같이 작성할 수 있습니다.

SELECT customer_id, SUM(sale_amount) AS total_sales
FROM sales
GROUP BY customer_id;
1
2
3

가설 sales 테이블에product_name 열에 null 값이 포함될 수 있습니다. null 값을 중복 제거와 동일하게 처리하려면 다음을 사용하세요.

SELECT COALESCE(product_name, 'Unknown Product')
FROM sales
GROUP BY COALESCE(product_name, 'Unknown Product');
1
2
3

만약에 sales 테이블에 있는 데이터의 양은 매우 크며 종종 다음을 기반으로 합니다.customer_id 열에서 중복 제거를 수행하려면 해당 열에 대한 인덱스를 생성하면 됩니다.

CREATE INDEX sales_customer_id_index ON sales (customer_id);
1

8. 요약

PostgreSQL에서 데이터 중복 제거를 구현하려면 데이터 유형과 특정 비즈니스 요구 사항에 따라 적절한 방법을 선택해야 합니다.기본 데이터 유형을 사용할 수 있습니다.DISTINCT 배열과 같은 복잡한 데이터 구조의 경우 키워드JSON 중복 제거를 달성하기 위해 특정 기능 및 작업과 결합해야 할 수 있는 맞춤형 구조도 있습니다. 동시에 성능 요소를 고려하고, 합리적으로 인덱스를 생성하고, 최적의 중복 제거 전략을 선택하는 것이 중요합니다. 위의 예와 설명을 통해 PostgreSQL에서 데이터 중복 제거 작업을 효과적으로 수행하여 다양한 비즈니스 요구 사항을 충족하는 데 도움이 되기를 바랍니다.

🎉相关推荐

• 🍅关注博主🎗️ 기술의 세계를 탐험하고 성장 기회를 절대 놓치지 마세요!
• 📢学习做技术博主创收
• 📚领书：PostgreSQL 入门到精通.pdf
• 📙PostgreSQL 中文手册
• 📘PostgreSQL 技术专栏