기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1·초록

SVM(지원 벡터 머신)은 분류 및 회귀 문제에 널리 사용되는 효율적인 지도 학습 알고리즘입니다. 특징 공간에서 최적의 초평면을 찾아 다양한 범주의 데이터 포인트를 구별합니다. 목표는 두 유형의 데이터 포인트 사이의 간격을 최대화하여 모델의 일반화 능력을 향상시키는 것입니다. SVM의 주요 개념에는 초평면, 간격, 지원 벡터 및 커널 기능이 포함됩니다. 커널 기능을 사용하면 SVM이 비선형 문제를 처리하고 데이터를 고차원 공간에 매핑하여 선형으로 분리 가능한 초평면을 찾을 수 있습니다. 또한 모델 복잡성을 제어하고 과적합을 방지하면서 데이터의 불완전한 선형 분리성을 처리하기 위해 소프트 마진 및 정규화 기술이 사용됩니다. SVM의 구현에는 적절한 커널 함수 선택, 볼록 2차 프로그래밍 문제 구성 및 해결, 훈련된 모델 평가 및 적용이 포함됩니다. 모델이 간단하고 구현하기 쉽고 일반화 능력이 좋다는 장점이 있지만 계산 복잡도가 높고 커널 기능 및 매개변수 선택에 민감하며 대규모 데이터 세트를 처리할 때 성능 병목 현상이 발생할 수 있습니다.

2. 개인소개

🏘️🏘️个人主页：산과 강을 선물로 활용하다。
🎖️🎖️:Python 분야의 Rising Star Creator, CSDN Rising Star 인증, CSDN 콘텐츠 파트너, Alibaba Cloud 커뮤니티 전문가 블로거, Rising Star 프로그램 멘토 및 현장 데이터 분석가입니다.

💕💕悲索之人烈焰加身，堕落者不可饶恕。永恒燃烧的羽翼，带我脱离凡间的沉沦。

🐘 希望大家能持续支持，共同向前迈进！😁 글이 가치 있다고 생각하신다면, 欢迎留言💬，点赞👍，收藏🔖并关注我们➕🤝。 🪐💫💫💫💫💫💫💫热门专栏💫💫💫💫💫💫💫🪐

3. 기본 개념

SVM(Support Vector Machine)은 주로 분류 및 회귀 문제를 해결하는 데 사용되는 강력한 기계 학습 알고리즘입니다. 통계 학습 이론의 구조적 위험 최소화 원리를 기반으로 하며 특징 공간에서 최적의 결정 경계, 즉 초평면을 찾아 다양한 데이터 카테고리를 구분합니다. 이 초평면의 선택은 데이터 포인트에서 마진이라고 불리는 초평면까지의 최단 거리를 최대화하는 것을 목표로 합니다. 일반적으로 간격이 클수록 모델의 일반화 능력이 더 좋습니다.

SVM의 핵심은 초평면의 위치와 방향을 결정하는 데 중요한 데이터 포인트 세트인 서포트 벡터입니다. 이는 초평면에 가장 가까운 점입니다. 데이터가 선형 분리가 불가능한 경우 SVM은 커널 함수를 도입하여 원본 데이터를 고차원 공간에 매핑하고 이 새로운 공간에서 선형 분리 가능한 초평면을 찾습니다. 일반적으로 사용되는 커널 함수에는 선형 커널, 다항식 커널, RBF(방사형 기본 함수) 커널 등이 포함됩니다.

데이터의 노이즈와 이상값을 처리하기 위해 SVM은 더 나은 일반화 성능을 위해 일부 데이터 포인트를 잘못 분류할 수 있는 소프트 마진 개념을 도입합니다. 동시에 모델의 복잡성은 정규화 항을 통해 제어되어 과적합을 방지합니다. SVM의 훈련 과정에는 일반적으로 최적의 초평면 매개변수를 찾기 위해 볼록 2차 계획법 문제를 해결하는 작업이 포함됩니다.

아래 그림을 참조하면 2차원 환경에서 점 R, S, G 및 가운데 검은색 선에 가까운 다른 점들은 분류기의 특정 매개변수, 즉 검은색을 결정할 수 있습니다. 선.

4. 지원 벡터와 초평면

서포트 벡터와 초평면은 SVM(서포트 벡터 머신) 알고리즘의 핵심 개념입니다. 아래에서는 이 두 가지 개념을 자세히 설명하겠습니다.

4.1 초평면

수학에서 초평면은 자신이 있는 공간보다 한 차원 낮은 선형 부분 공간입니다. 예를 들어, 2차원 공간에서 초평면은 직선이고, 3차원 공간에서는 평면이며, 여전히 선형 경계이지만 직관적으로 이해하기 어려울 수 있습니다.

SVM에서는 초평면을 사용하여 데이터를 여러 범주로 분류합니다. 2차원 공간의 경우 초평면은 공간을 두 부분으로 나누는 직선으로 상상할 수 있으며, 각 부분은 하나의 데이터 포인트 범주를 포함합니다. 고차원 공간의 경우 초평면은 데이터 포인트를 분리하는 고차원 선형 경계입니다.

4.2 서포트 벡터

서포트 벡터는 초평면에 가장 가까운 데이터 포인트입니다. 이는 초평면의 위치를 ​​결정하기 위해 훈련 중에 SVM이 사용하는 주요 데이터 포인트입니다. 이러한 점 중 하나를 제거하면 초평면의 위치와 방향이 변경됩니다.

서포트 벡터는 데이터 포인트 사이의 경계(즉, 간격)를 정의하기 때문에 중요합니다. SVM의 목표는 가장 가까운 서포트 벡터(즉, 초평면에 가장 가까운 데이터 포인트)와 초평면 사이의 거리(간격)를 최대화하는 초평면을 찾는 것입니다. 이 간격의 크기는 모델의 일반화 능력을 나타내는 중요한 지표입니다.

4.3 커널 트릭

실제 애플리케이션에서는 데이터가 선형적으로 분리되지 않을 수 있습니다. 이때 SVM은 커널 기술을 사용하여 비선형 문제를 처리할 수 있습니다. 커널 함수는 원본 데이터를 고차원 공간에 매핑하고 새 공간에서 선형으로 분리 가능한 초평면을 찾을 수 있습니다. 일반적으로 사용되는 커널 함수에는 선형 커널, 다항식 커널, RBF(방사형 기본 함수) 커널 등이 포함됩니다.

4.4 소프트 마진과 정규화

실제 데이터를 다룰 때 모든 데이터 포인트를 완전히 분리하는 완벽한 초평면을 찾는 것이 불가능할 수도 있습니다. 이때 SVM은 소프트 마진 개념을 도입하여 더 나은 일반화 기능을 제공하는 대가로 일부 데이터 포인트를 잘못 분류할 수 있도록 했습니다. 동시에 모델의 복잡성은 과적합을 방지하기 위해 정규화 항(일반적으로 법선 벡터의 표준)을 통해 제어됩니다.

5. SVM 알고리즘의 원리

5.1 점에서 초평면까지의 거리 공식

점-초평면 거리 공식은 점에서 주어진 초평면까지의 최단 거리를 계산하는 데 사용됩니다. 초평면은 n차원 공간에서 다음 방정식으로 표현될 수 있습니다.

안에:
w는 초평면에 수직인 n차원 법선 벡터입니다.
x는 공간에 위치한 n차원 지점입니다.
b는 초평면의 바이어스 항입니다.
점 x에서 이 초평면까지의 수직 거리 d는 다음 공식으로 계산할 수 있습니다.

这个公式的几何意义是：从点 𝑥 向超平面作垂线，垂足到点 𝑥的距离就是𝑑这个距离也代表了点 𝑥到超平面的“间隔”。在支持向量机中，间隔的大小是非常重要的，因为它与模型的泛化能力有关。SVM的目标是找到这样一个超平面，使得间隔最大化，即所有数据点到这个超平面的距离之和最大。

5.2 최대 간격의 최적화 모델

선형 분리 가능한 경우의 최적화 모델
데이터가 선형적으로 분리 가능한 경우, 즉 서로 다른 범주의 데이터 점을 완벽하게 분리할 수 있는 초평면이 있는 경우, SVM의 목표는 가장 가까운 두 개의 데이터 점(즉, 서포트 벡터)이 초평면에 있도록 하는 초평면을 찾는 것입니다. 거리를 최대화하세요. 이 거리를 마진이라고 합니다.
초평면은 다음과 같이 표현될 수 있습니다.

최대 마진 최적화 문제
SVM의 목적 함수는 간격을 최대화하는 것이며 다음과 같이 표현될 수 있습니다.

라그랑주 승수 소개

이중 문제

6. 슬랙 변수

SVM(서포트 벡터 머신)에서 Slack 변수(Slack 변수)는 데이터 세트의 비선형 분리 가능 상황을 처리하기 위해 도입된 메커니즘입니다. 이상적인 상황에서 데이터가 선형으로 분리 가능한 경우 SVM은 마진을 최대화하면서 다양한 클래스의 데이터 포인트를 완전히 분리하는 초평면을 찾을 수 있습니다. 그러나 실제 세계에서는 많은 데이터 세트가 완전히 선형적으로 분리되지 않으므로 일부 데이터 포인트가 잘못 분류될 수 있도록 여유 변수를 사용해야 하므로 모델의 일반화 능력이 향상됩니다.

6.1 Slack 변수의 정의

6.2 최적화 모델 수정

这里的 𝐶是一个正的调节参数，用于控制模型对误分类的惩罚程度。𝐶的值越大，模型对误分类的惩罚越重，越倾向于找到没有误分类的解；𝐶的值越小，模型对误分类的容忍度越高，越容易找到间隔更大的解，即使这意味着更多的误分类。

6.3 소프트 마진과 하드 마진

• 하드 마진: 여유 변수를 도입하지 않는 SVM에서는 모든 데이터 포인트가 마진 경계 외부 또는 경계에 있어야 합니다. 즉, 오분류가 허용되지 않습니다.
• 소프트 마진: SVM은 여유 변수를 도입하여 일부 데이터 포인트가 마진 경계 내에 있도록 허용합니다. 즉, 어느 정도의 오분류를 허용합니다. 커널 트릭과 슬랙 변수.

6.4 커널 트릭과 슬랙 변수

비선형 분리성의 경우에도 커널 트릭을 사용하여 데이터를 고차원 공간에 매핑하고 여유 변수를 결합함으로써 SVM은 여전히 ​​최대 마진을 가진 초평면을 찾을 수 있습니다.

7. 커널 기능

커널 기능은 SVM이 고차원 공간의 비선형 문제를 효과적으로 처리할 수 있도록 하는 SVM(지원 벡터 머신)의 중요한 도구입니다. 커널 함수의 기본 개념은 매핑을 통해 저차원 공간의 원본 데이터를 고차원 공간에 매핑하고, 이 고차원 공간에서 데이터의 선형 분리성을 찾는 것입니다.

7.1 커널 함수의 기본 개념

7.2 일반적으로 사용되는 커널 함수

7.3 커널 기능의 역할

1. 비선형 문제 처리: 커널 함수는 고차원 공간에 매핑함으로써 원래 저차원 공간에서 선형으로 분리할 수 없는 데이터를 고차원 공간에서 선형으로 분리할 수 있도록 만듭니다.
2. 모델의 표현 능력 향상: 다양한 커널 기능은 데이터의 다양한 특성을 포착하고 모델의 표현 능력을 향상시킬 수 있습니다.
3. 계산 복잡성 감소: 커널 함수를 사용하면 고차원 공간에서 직접 계산을 피할 수 있으므로 계산 복잡성이 줄어듭니다.