Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Fitur multidimensi

Variabel dan Ketentuan

rumus

$\overrightarrow{aku}$ = [kamu]₁ aku₂ aku₃ …]
$\vec{X}$ = [x₁ X₂ X₃ …]

$F_{\overrightarrow{aku},B}(\vec{X})=\overrightarrow{aku}\ast \vec{X}+B={aku}_1{X}_1+{aku}_2{X}_2+\dots +{aku}_N{X}_N+B$

regresi linier berganda

import numpy
f = np.dot(w, x) + b
1
2

Catatan: Ini sangat cepat ketika n besar (pemrosesan paralel)

metode persamaan normal

1. Lebih dari 1000 tidak efisien
2. Ini tidak dapat digeneralisasikan ke algoritma lain seperti regresi logistik, jaringan saraf atau lainnya.
3. tidak ada iterasi

${aku}_N={aku}_N-\alpha \frac{1}{M}\sum _{Saya=1}^M{F}_{\overrightarrow{aku},B}({\vec{X}}^{(Saya)}-{kamu}^{(Saya)})X_N^{(Saya)}$

$B=B-\alpha \frac{1}{M}\sum _{Saya=1}^M(F_{\overrightarrow{aku},B}({\vec{X}}^{(Saya)}-{kamu}^{(Saya)})$

Bobot yang terkait dengan rentang variabel independen yang lebih besar cenderung lebih kecil, dan bobot yang terkait dengan rentang variabel independen yang lebih kecil cenderung lebih besar.

Normalisasi rata-rata

Bagilah dengan nilai maksimum rentang untuk mencari bobot versus [0, 1] variabel independen

Absis:$X_1=\frac{X_1-{\mu }_1}{2000-300}$ sumbu Y:$X_2=\frac{X_2-{\mu }_2}{5-0}$

$-0.18\le X_1\le 0.82$ $-0.46\le X_2\le 0.54$

Normalisasi skor Z

$300\le X_1\le 2000$ $0\le X_2\le 5$

$X1=\frac{X_1-{\mu }_1}{{\sigma }_1}$ $-0.67\le X_1\le 3.1$

Usahakan untuk menjaga nilai semua fitur dalam rentang yang sama melalui penskalaan, sehingga dampak perubahannya terhadap nilai prediksi mendekati (-3,3)

Jika fungsi biaya J menjadi besar berarti ukuran langkah (learning rate) tidak sesuai atau kodenya salah.

Catatan: Jumlah iterasi bervariasi dari mesin ke mesin

Selain menggambar kurva untuk menentukan titik iterasi, pengujian konvergensi otomatis juga dapat digunakan
Biarkan ε sama$10^{-3}$, jika penurunan J kurang dari angka kecil tersebut maka dianggap konvergen.

Tetapkan kecepatan pembelajaran yang sesuai

1. Saat menguji, Anda dapat menetapkan nilai yang sangat kecil untuk melihat apakah J berkurang.
2. Kecepatan pembelajaran selama iterasi tidak boleh terlalu besar atau terlalu kecil.
3. Setiap kali *3 selama pengujian, pilih kecepatan pemelajaran sebesar mungkin, atau sedikit lebih kecil dari nilai wajar

Rekayasa fitur

Bangun rekayasa fitur melalui transformasi atau kombinasi untuk memberikan lebih banyak opsi

$F_{\overrightarrow{aku},B}(\vec{X})={aku}_1{X}_1+{aku}_2{X}_2+{aku}_3{X}_3+B$

Catatan: Regresi polinomial dapat digunakan untuk pemasangan linier dan nonlinier