Обмен технологиями

Глубокое обучениеDeepLearning Примечания к исследованию множественной линейной регрессии

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Многомерные функции

Переменные и термины

Атрибут столбца xджКоличество атрибутов n x ⃗ век{x}Икс (я)вектор-строкаопределенное значение x ⃗ ji век{x}_j^iИкс джяВверх и вниз
среднее значение μстандартизацияСтандартное отклонение σсигма (σ)

формула

w ⃗ век{w}ж = [w1 ж2 ж3 …]
x ⃗ век{x}Икс = [х1 Икс2 Икс3 …]

fw ⃗ , b ( x ⃗ ) = w ⃗ ∗ x ⃗ + b = w 1 x 1 + w 2 x 2 + … + wnxn + b f_{vec{w},b} (vec{x}) = vec{w} * vec{x} + b = w_1x_1 + w_2x_2 + … + w _nx_n + bфж ,б(Икс )=ж Икс +б=ж1Икс1+ж2Икс2++жнИксн+б

множественная линейная регрессия

import numpy
f = np.dot(w, x) + b
  • 1
  • 2

Примечание. Когда n велико (параллельная обработка), это происходит очень быстро.

метод нормальных уравнений

  1. Больше 1000 неэффективно
  2. Его нельзя обобщить на другие алгоритмы, такие как логистическая регрессия, нейронные сети и другие.
  3. нет итерации

wn = wn − α 1 m ∑ i = 1 mfw ⃗ , b ( x ⃗ ( i ) − y ( i ) ) xn ( i ) w_n = w_n - αdfrac{1}{m} предел_{i=1}^mf_{vec{w},b}(vec{x}^{(i)}-y^{(i)})x_n^{(i)}жн=жнαм1я=1мфж ,б(Икс (я)у(я))Иксн(я)

b = b − α 1 m ∑ i = 1 m ( fw ⃗ , b ( x ⃗ ( i ) − y ( i ) ) b = b - α{dfrac{1}{m}}sumlimits_{i=1}^m(f_{vec{w},b}(vec{x}^{(i)}-y^{(i)})б=бαм1я=1м(фж ,б(Икс (я)у(я))

Вес, соответствующий более широкому диапазону независимых переменных, имеет тенденцию быть меньшим, а соответствующий вес меньшему диапазону независимых переменных имеет тенденцию быть больше.

Нормализация среднего

Разделите на максимальное значение диапазона, чтобы найти вес независимой переменной в зависимости от [0, 1]

Абсцисса: x 1 = x 1 − μ 1 2000 − 300 x_1 = dfrac{x_1-μ_1}{2000-300}Икс1=2000300Икс1μ1 Ось Y: x 2 = x 2 − μ 2 5 − 0 x_2 = dfrac{x_2 - μ_2}{5-0}Икс2=50Икс2μ2

− 0,18 ≤ x 1 ≤ 0,82 -0,18le x_1le0,820.18Икс10.82 − 0,46 ≤ x 2 ≤ 0,54 -0,46le x_2le0,540.46Икс20.54

Нормализация Z-оценки

300 ≤ x 1 ≤ 2000 300le x_1le2000300Икс12000 0 ≤ x 2 ≤ 5 0le x_2le50Икс25

x 1 = x 1 − μ 1 σ 1 x1 = dfrac{x_1-μ_1}{σ_1}Икс1=σ1Икс1μ1 − 0,67 ≤ x 1 ≤ 3,1 -0,67le x_1le3,10.67Икс13.1

Постарайтесь сохранить значения всех признаков в одном диапазоне посредством масштабирования, чтобы влияние их изменений на прогнозируемые значения было близко к (-3,3).

Если функция стоимости J становится большой, это означает, что размер шага (скорость обучения) неподходящий или код неправильный.

Вставьте сюда описание изображения

Примечание. Количество итераций варьируется от машины к машине.

Помимо построения кривых для определения точки итерации, также можно использовать автоматическое тестирование сходимости.
Пусть ε равно 1 0 − 3 10^{-3} 103, если уменьшение J меньше этого небольшого числа, оно считается сходящимся.

Установите подходящую скорость обучения

  1. При тестировании вы можете установить очень маленькое значение, чтобы увидеть, уменьшится ли J.
  2. Скорость обучения во время итерации не должна быть слишком большой или слишком маленькой.
  3. Каждый раз * 3 во время тестирования выбирайте максимально большую скорость обучения или немного меньшую разумного значения.

Особенности инжиниринга

Создавайте функции проектирования с помощью преобразований или комбинаций, чтобы предоставить вам больше возможностей.

fw ⃗ , b ( x ⃗ ) = w 1 x 1 + w 2 x 2 + w 3 x 3 + b f_{vec{w},b}(vec{x}) = w_1x_1+w_2x_2+w_3x_3+bфж ,б(Икс )=ж1Икс1+ж2Икс2+ж3Икс3+б

Примечание. Полиномиальную регрессию можно использовать для линейной и нелинейной аппроксимации.