기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

다차원적 특징

변수 및 용어

공식

$\overrightarrow{와}$ = [w₁ 와₂ 와₃ …]
$\overrightarrow{엑스}$ = [x₁ 엑스₂ 엑스₃ …]

${에프}_{\overrightarrow{와},비}(\overrightarrow{엑스})=\overrightarrow{와}\ast \overrightarrow{엑스}+비={와}_1{엑스}_1+{와}_2{엑스}_2+\dots +{와}_N{엑스}_N+비$

다중 선형 회귀

import numpy
f = np.dot(w, x) + b
1
2

참고: n이 클 때 매우 빠릅니다(병렬 처리).

정규 방정식 방법

1. 1000개 이상이면 비효율적
2. 로지스틱 회귀, 신경망 등의 다른 알고리즘으로 일반화할 수 없습니다.
3. 반복 없음

${와}_N={와}_N-\alpha \frac{1}{중}\sum _{나=1}^{중}{에프}_{\overrightarrow{와},비}({\overrightarrow{엑스}}^{(나)}-{와이}^{(나)}){엑스}_N^{(나)}$

$비=비-\alpha \frac{1}{중}\sum _{나=1}^{중}({에프}_{\overrightarrow{와},비}({\overrightarrow{엑스}}^{(나)}-{와이}^{(나)})$

더 큰 범위의 독립변수에 해당하는 가중치는 더 작은 경향이 있고, 더 작은 범위의 독립변수에 해당하는 가중치는 더 큰 경향이 있습니다.

평균 정규화

범위의 최대값으로 나누어 독립변수의 [0, 1] 대비 가중치를 구합니다.

횡좌표:${엑스}_1=\frac{{엑스}_1-{\mu }_1}{2000-300}$ Y축:${엑스}_2=\frac{{엑스}_2-{\mu }_2}{5-0}$

$-0.18\le {엑스}_1\le 0.82$ $-0.46\le {엑스}_2\le 0.54$

Z-점수 정규화

$300\le {엑스}_1\le 2000$ $0\le {엑스}_2\le 5$

$엑스1=\frac{{엑스}_1-{\mu }_1}{{\sigma }_1}$ $-0.67\le {엑스}_1\le 3.1$

스케일링을 통해 모든 특성의 값을 비슷한 범위 내로 유지하여 해당 변경 사항이 예측 값에 미치는 영향이 (-3,3)에 가까워지도록 노력하세요.

비용 함수 J가 커지면 단계 크기(학습률)가 부적절하거나 코드가 잘못되었음을 의미합니다.

참고: 반복 횟수는 기계마다 다릅니다.

반복 지점을 결정하기 위해 곡선을 그리는 것 외에도 자동 수렴 테스트를 사용할 수도 있습니다.
ε을 같다고 하자$10^{-3}$, J의 감소가 이 작은 숫자보다 작으면 수렴되는 것으로 간주됩니다.

적절한 학습률 설정

1. 테스트할 때 매우 작은 값을 설정하여 J가 감소하는지 확인할 수 있습니다.
2. 반복하는 동안 학습률은 너무 크거나 작아서는 안 됩니다.
3. 테스트 중 * 3마다 학습률을 최대한 크게 선택하거나 합리적인 값보다 약간 작게 선택합니다.

기능 엔지니어링

더 많은 옵션을 제공하기 위해 변환 또는 조합을 통해 기능 엔지니어링을 구축합니다.

${에프}_{\overrightarrow{와},비}(\overrightarrow{엑스})={와}_1{엑스}_1+{와}_2{엑스}_2+{와}_3{엑스}_3+비$

참고: 다항식 회귀는 선형 및 비선형 피팅에 사용될 수 있습니다.