技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

多次元の特徴

変数と用語

式

$\overrightarrow{わ}$ = [w₁ わ₂ わ₃ …]
$\overrightarrow{バツ}$ = [x₁ バツ₂ バツ₃ …]

${ふ}_{\overrightarrow{わ},b}(\overrightarrow{バツ})=\overrightarrow{わ}\ast \overrightarrow{バツ}+b={わ}_1{バツ}_1+{わ}_2{バツ}_2+\dots +{わ}_{ん}{バツ}_{ん}+b$

重回帰

import numpy
f = np.dot(w, x) + b
1
2

注: n が大きい場合 (並列処理)、非常に高速です。

正規方程式法

1. 1000を超えると効率が悪い
2. ロジスティック回帰、ニューラル ネットワークなどの他のアルゴリズムに一般化することはできません。
3. 反復なし

${わ}_{ん}={わ}_{ん}-\alpha \frac{1}{メートル}\sum _{私=1}^{メートル}{ふ}_{\overrightarrow{わ},b}({\overrightarrow{バツ}}^{(私)}-{ええ}^{(私)}){バツ}_{ん}^{(私)}$

$b=b-\alpha \frac{1}{メートル}\sum _{私=1}^{メートル}({ふ}_{\overrightarrow{わ},b}({\overrightarrow{バツ}}^{(私)}-{ええ}^{(私)})$

より大きな範囲の独立変数に対応する重みは小さくなる傾向があり、より小さな範囲の独立変数に対応する重みはより大きくなる傾向があります。

平均正規化

範囲の最大値で割って、独立変数の [0, 1] に対する重みを求めます。

横軸:${バツ}_1=\frac{{バツ}_1-{\mu }_1}{2000-300}$ Y軸:${バツ}_2=\frac{{バツ}_2-{\mu }_2}{5-0}$

$-0.18\le {バツ}_1\le 0.82$ $-0.46\le {バツ}_2\le 0.54$

Zスコア正規化

$300\le {バツ}_1\le 2000$ $0\le {バツ}_2\le 5$

$バツ1=\frac{{バツ}_1-{\mu }_1}{{\sigma }_1}$ $-0.67\le {バツ}_1\le 3.1$

予測値に対する変更の影響が (-3,3) に近づくように、スケーリングを通じてすべての特徴の値を同様の範囲内に保つようにしてください。

コスト関数 J が大きくなった場合は、ステップ サイズ (学習率) が不適切であるか、コードが間違っていることを意味します。

注: 反復回数はマシンによって異なります。

曲線を描いて反復点を決定するだけでなく、自動収束テストも使用できます。
ε を等しいものとする$10^{-3}$、J の減少がこの小さな数よりも小さい場合、収束していると見なされます。

適切な学習率を設定する

1. テストするときは、非常に小さな値を設定して、J が減少するかどうかを確認できます。
2. 反復中の学習率は大きすぎても小さすぎてもいけません。
3. テスト中は毎回*3、できるだけ大きい学習率、または妥当な値よりわずかに小さい学習率を選択します。

特徴エンジニアリング

変換または組み合わせを通じて特徴量エンジニアリングを構築し、より多くのオプションを提供します

${ふ}_{\overrightarrow{わ},b}(\overrightarrow{バツ})={わ}_1{バツ}_1+{わ}_2{バツ}_2+{わ}_3{バツ}_3+b$

注: 多項式回帰は線形および非線形フィッティングに使用できます。