Обмен технологиями

Машинное обучение (5) – Обучение с учителем (6) – Логистическая регрессия

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Оглавление и ссылки на серии статей

Предыдущая статья:Машинное обучение (5) — Обучение с учителем (5) — Линейная регрессия 2
Следующая статья:Машинное обучение (5) -- Обучение с учителем (7) --SVM1

Предисловие

tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。“！！！”一般需要特别注意或者容易出错的地方。

本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。

由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！

文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。

1. Популярное понимание и определение

1. Что такое логистическая регрессия (Что)

Логистическая регрессия = линейная регрессия + сигмовидная функция

Логистическая регрессия (Логистическая регрессия) заключается в нахождении прямой линии для разделения двоичных данных.

2. Цель логистической регрессии (почему)

Решите задачу бинарной классификации, классифицируя объекты, принадлежащие определенной категории.значение вероятностиЧтобы определить, принадлежит ли он к определенной категории, эта категория по умолчанию помечается как 1 (положительный пример), а другая категория будет отмечена как 0 (отрицательный пример).

3. Как найти эту строку (Как)

По сути, это похоже на этап линейной регрессии. Разница заключается в методах, используемых для «проверки эффекта подгонки модели» и «регулировки угла положения модели».

  1. Нарисуйте прямую линию случайным образом в качестве исходной прямой линии.
  2. Проверьте эффект подгонки,
  3. Если оно не самое лучшее (достигнуто пороговое значение), отрегулируйте положение и угол линии.
  4. Повторяйте шаги 2 и 3 до достижения наилучшего эффекта (достижения установленного порога) и, наконец, желаемой модели.

Вам необходимо использовать функцию (сигмовидную функцию) для сопоставления входных данных в диапазоне от 0 до 1, и если значение функции больше 0,5, оно считается равным 1, в противном случае оно равно 0. Это можно преобразовать в вероятностное представление.

2. Принципиальное понимание и формулы

1. Перцептрон

1.1. Описание проблемы.

Возьмите классификацию изображений в качестве примера, разделите изображения на вертикальные и горизонтальные.

Вот как эти данные отображаются на графике. Для того, чтобы разделить на графике точки разного цвета (разных категорий), мы рисуем такую ​​линию. Цель данной классификации – найти такую ​​линию.

Это «прямая линия, которая делает весовой вектор нормальным вектором» (пусть весовой вектор перпендикулярен прямой)

w — весовой вектор, что делает его прямой линией нормального вектора, даже;

1.2. Модель перцептрона.

Модель, которая принимает несколько значений, умножает каждое значение на соответствующий вес и, наконец, выводит сумму.

1.3. Дискриминантная функция.

Внутренний продукт является мерой степени сходства между векторами. Положительный результат указывает на сходство, значение 0 указывает на вертикальность, а отрицательный результат указывает на несходство.

использоватьЭто легче понять, поскольку |w| и |x| являются положительными числами, поэтому знак скалярного произведения определяется cosθ, то есть, если он меньше 90 градусов, он аналогичен, а если равен больше 90 градусов, это разнородно, т.е.

1.4 Оценка параметра (выражение обновления веса)

Если оно равно исходному значению метки, вектор веса не будет обновлен. Если он не равен исходному значению метки, для обновления вектора веса будет использоваться сложение векторов.

Как показано на рисунке, если она не равна исходной метке, то

прямая линия после обновления

После обновления равно

Шаги: сначала случайным образом определите прямую линию (то есть случайно определите весовой вектор w), подставьте данные реального значения x во внутренний продукт и получите значение (1 или -1) с помощью дискриминантной функции, если оно равно. к исходному значению метки вектор веса не является обновлением. Если он отличается от исходного значения метки, используйте сложение векторов для обновления вектора веса.

! ! !Примечание. Перцептрон может решать только линейно разделимые задачи.
Линейно разделимая: случаи, когда для классификации можно использовать прямые линии.
Линейная неразделимость: нельзя классифицировать прямыми линиями.

2. сигмовидная функция

Черный цвет — сигмовидная функция, красный — ступенчатая функция (разрывная).

Функция: входные данные логистической регрессии являются результатом линейной регрессии.Мы можем получить прогнозируемое значение с помощью линейной регрессии. Сигмоидальная функция отображает любые входные данные в интервал [0,1], тем самым завершая преобразование значения в вероятность, что является задачей классификации.

3. Логистическая регрессия

3.1. Определение модели.

Логистическая регрессия = линейная регрессия + сигмовидная функция

Линейная регрессия:

сигмовидная функция:

Логистическая регрессия:

Чтобы позволить y представлять метку, измените ее на:

Для расчета вероятностей используйте:

3.2. Дискриминантная функция.

То есть категории можно различать по вероятности

3.3. Граница решения

Его можно переписать следующим образом:

когда

Заменить данные:

Есть такая картинка

Прямая линия, используемая для классификации данных, является границей решения.

3.4. Целевая функция (логарифмическая функция правдоподобия).

Что мы хотим, так это:
Когда y=1, P(y=1|x) является наибольшим
Когда y=0, P(y=0|x) является наибольшим

Функция правдоподобия (совместная вероятность): вот вероятность, которую мы хотим максимизировать.

Логарифмическая функция правдоподобия: трудно дифференцировать функцию правдоподобия напрямую. Сначала нужно логарифмировать.

После деформации он становится:

3.4. Оценка параметров (градиентный спуск).

Дифференцирование функции правдоподобия:

3. Преимущества и недостатки

3.1. Преимущества:

1. Простота реализации. Логистическая регрессия — это простой алгоритм, который легко понять и реализовать.
2. Высокая вычислительная эффективность. Логистическая регрессия требует относительно небольшого объема вычислений и подходит для крупномасштабных наборов данных.
3. Высокая интерпретируемость. Выходные результаты логистической регрессии представляют собой значения вероятности, которые могут интуитивно объяснить выходные данные модели.

3.2. Недостатки:

1. Требования к линейной разделимости. Логистическая регрессия представляет собой линейную модель и плохо работает для нелинейных разделимых задач.
2. Проблема корреляции признаков. Логистическая регрессия более чувствительна к корреляции между входными признаками. Когда существует сильная корреляция между признаками, это может привести к снижению производительности модели.
3. Проблема переобучения. Когда выборочных признаков слишком много или количество выборок мало, логистическая регрессия склонна к проблемам переобучения.

3. ** Реализация алгоритма

1. Получить данные

  1. import numpy as np
  2. import pandas as pd
  3. import matplotlib.pyplot as plt
  4. %matplotlib notebook
  5.  
  6. # 读取数据
  7. train=pd.read_csv('csv/images2.csv')
  8. train_x=train.iloc[:,0:2]
  9. train_y=train.iloc[:,2]
  10. # print(train_x)
  11. # print(train_y)
  12.  
  13. # 绘图
  14. plt.figure()
  15. plt.plot(train_x[train_y ==1].iloc[:,0],train_x[train_y ==1].iloc[:,1],'o')
  16. plt.plot(train_x[train_y == 0].iloc[:,0],train_x[train_y == 0].iloc[:,1],'x')
  17. plt.axis('scaled')
  18. # plt.axis([0,500,0,500])
  19. plt.show()

2. Обработка данных

  1. # 初始化参数
  2. theta=np.random.randn(3)
  3.  
  4. # 标准化
  5. mu = train_x.mean(axis=0)
  6. sigma = train_x.std(axis=0)
  7. # print(mu,sigma)
  8.  
  9.  
  10. def standardize(x):
  11.     return (x - mu) / sigma
  12.  
  13. train_z = standardize(train_x)
  14. # print(train_z)
  15.  
  16. # 增加 x0
  17. def to_matrix(x):
  18.     x0 = np.ones([x.shape[0], 1])
  19.     return np.hstack([x0, x])
  20.  
  21. X = to_matrix(train_z)
  22.  
  23.  
  24. # 绘图
  25. plt.figure()
  26. plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
  27. plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
  28. plt.axis('scaled')
  29. # plt.axis([0,500,0,500])
  30. plt.show()

3. Сигмовидная функция и дискриминантная функция.

  1. # sigmoid 函数
  2. def f(x):
  3.     return 1 / (1 + np.exp(-np.dot(x, theta)))
  4.  
  5. # 分类函数
  6. def classify(x):
  7.     return (f(x) >= 0.5).astype(np.int)

4. Настройка параметров и обучение

  1. # 学习率
  2. ETA = 1e-3
  3.  
  4. # 重复次数
  5. epoch = 5000
  6.  
  7. # 更新次数
  8. count = 0
  9. print(f(X))
  10.  
  11. # 重复学习
  12. for _ in range(epoch):
  13.     theta = theta - ETA * np.dot(f(X) - train_y, X)
  14.  
  15.     # 日志输出
  16.     count += 1
  17.     print('第 {} 次 : theta = {}'.format(count, theta))

5. Подтверждение рисунка

  1. # 绘图确认
  2. plt.figure()
  3. x0 = np.linspace(-2, 2, 100)
  4. plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
  5. plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
  6. plt.plot(x0, -(theta[0] + theta[1] * x0) / theta[2], linestyle='dashed')
  7. plt.show()

 

6. Проверка

  1. # 验证
  2. text=[[200,100],[500,400],[150,170]]
  3. tt=pd.DataFrame(text,columns=['x1','x2'])
  4. # text=pd.DataFrame({'x1':[200,400,150],'x2':[100,50,170]})
  5. x=to_matrix(standardize(tt))
  6. print(x)
  7. a=f(x)
  8. print(a)
  9.  
  10. b=classify(x)
  11. print(b)
  12.  
  13. plt.plot(x[:,1],x[:,2],'ro')

 

4. Реализация интерфейса

1. Введение в набор данных о раке молочной железы.

1.1. API

from sklearn.datasets import load_breast_cancer

1.2. Основная информация.

  1. # 键
  2. print("乳腺癌数据集的键：",breast_cancer.keys())
  3.  
  4.  
  5.  
  6. # 特征值名字、目标值名字
  7. print("乳腺癌数据集的特征数据形状：",breast_cancer.data.shape)
  8. print("乳腺癌数据集的目标数据形状：",breast_cancer.target.shape)
  9.  
  10. print("乳腺癌数据集的特征值名字：",breast_cancer.feature_names)
  11. print("乳腺癌数据集的目标值名字：",breast_cancer.target_names)
  12.  
  13. # print("乳腺癌数据集的特征值：",breast_cancer.data)
  14. # print("乳腺癌数据集的目标值：",breast_cancer.target)
  15.  
  16.  
  17.  
  18. # 返回值
  19. # print("乳腺癌数据集的返回值：n", breast_cancer)
  20. # 返回值类型是bunch--是一个字典类型
  21.  
  22. # 描述
  23. # print("乳腺癌数据集的描述：",breast_cancer.DESCR)
  24.  
  25.  
  26.  
  27. # 每个特征信息
  28. print("最小值：",breast_cancer.data.min(axis=0))
  29. print("最大值：",breast_cancer.data.max(axis=0))
  30. print("平均值：",breast_cancer.data.mean(axis=0))
  31. print("标准差：",breast_cancer.data.std(axis=0))
  32.  

  1. # 取其中间两列特征
  2. x=breast_cancer.data[0:569,0:2]
  3. y=breast_cancer.target[0:569]
  4.  
  5. samples_0 = x[y==0, :]
  6. samples_1 = x[y==1, :]
  7.  
  8.  
  9.  
  10. # 实现可视化
  11. plt.figure()
  12. plt.scatter(samples_0[:,0],samples_0[:,1],marker='o',color='r')
  13. plt.scatter(samples_1[:,0],samples_1[:,1],marker='x',color='y')
  14. plt.xlabel('mean radius')
  15. plt.ylabel('mean texture')
  16. plt.show()

  1. # 绘制每个特征直方图，显示特征值的分布情况。
  2. for i, feature_name in enumerate(breast_cancer.feature_names):
  3.     plt.figure(figsize=(6, 4))
  4.     sns.histplot(breast_cancer.data[:, i], kde=True)
  5.     plt.xlabel(feature_name)
  6.     plt.ylabel("数量")
  7.     plt.title("{}直方图".format(feature_name))
  8.     plt.show()

  1. # 绘制箱线图，展示每个特征最小值、第一四分位数、中位数、第三四分位数和最大值概括。
  2. plt.figure(figsize=(10, 6))
  3. sns.boxplot(data=breast_cancer.data, orient="v")
  4. plt.xticks(range(len(breast_cancer.feature_names)), breast_cancer.feature_names, rotation=90)
  5. plt.xlabel("特征")
  6. plt.ylabel("值")
  7. plt.title("特征箱线图")
  8. plt.show()

1.3. Отсутствующие значения и выбросы.

  1. # 创建DataFrame对象
  2. df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
  3.  
  4. # 检测缺失值
  5. print("缺失值数量：")
  6. print(df.isnull().sum())
  7.  
  8. # 检测异常值
  9. print("异常值统计信息：")
  10. print(df.describe())
  11. # 使用.describe()方法获取数据集的统计信息，包括计数、均值、标准差、最小值、25%分位数、中位数、75%分位数和最大值。

1.4. Актуальность

  1. # 创建DataFrame对象
  2. df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
  3.  
  4. # 计算相关系数
  5. correlation_matrix = df.corr()
  6.  
  7. # 可视化相关系数热力图
  8. plt.figure(figsize=(10, 8))
  9. sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm")
  10. plt.title("Correlation Heatmap")
  11. plt.show()

2. API-интерфейс

  1. sklearn.linear_model.LogisticRegression
  2.  
  3. 导入：
  4. from sklearn.linear_model import LogisticRegression
  5.  
  6. 语法：
  7. LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)
  8.     solver可选参数:{'liblinear', 'sag', 'saga','newton-cg', 'lbfgs'}，
  9.         默认: 'liblinear'；用于优化问题的算法。
  10.         对于小数据集来说，“liblinear”是个不错的选择，而“sag”和'saga'对于大型数据集会更快。
  11.         对于多类问题，只有'newton-cg'， 'sag'， 'saga'和'lbfgs'可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。
  12.     penalty：正则化的种类
  13.     C：正则化力度

2. Процесс

2.1. Получить данные.

  1. from sklearn.datasets import load_breast_cancer
  2. from sklearn.model_selection import train_test_split
  3.  
  4. from sklearn.linear_model import LogisticRegression
  5.  
  6. # 获取数据
  7. breast_cancer = load_breast_cancer()

2.2. Предварительная обработка данных.

  1. # 划分数据集
  2. x_train,x_test,y_train,y_test = train_test_split(breast_cancer.data, breast_cancer.target, test_size=0.2, random_state=1473)

2.3. Разработка функций.

2.4. Обучение модели.

  1. # 实例化学习器
  2. lr = LogisticRegression(max_iter=10000)
  3.  
  4. # 模型训练
  5. lr.fit(x_train, y_train)
  6.  
  7. print("建立的逻辑回归模型为：n", lr)

 

2.5. Оценка модели.

  1. # 用模型计算测试值，得到预测值
  2. y_pred = lr.predict(x_test)
  3. print('预测前20个结果为：n', y_pred[:20])
  4.  
  5. # 求出预测结果的准确率和混淆矩阵
  6. from sklearn.metrics import accuracy_score, confusion_matrix,precision_score,recall_score
  7. print("预测结果准确率为：", accuracy_score(y_test, y_pred))
  8. print("预测结果混淆矩阵为：n", confusion_matrix(y_test, y_pred))
  9.  
  10. print("预测结果查准率为：", precision_score(y_test, y_pred))
  11. print("预测结果召回率为：", recall_score(y_test, y_pred))

  1. from sklearn.metrics import roc_curve,roc_auc_score,auc
  2.  
  3. fpr,tpr,thresholds=roc_curve(y_test,y_pred)
  4.  
  5. plt.plot(fpr, tpr)
  6. plt.axis("square")
  7. plt.xlabel("假正例率/False positive rate")
  8. plt.ylabel("正正例率/True positive rate")
  9. plt.title("ROC curve")
  10. plt.show()
  11.  
  12. print("AUC指标为：",roc_auc_score(y_test,y_pred))

 

  1. # 求出预测取值和真实取值一致的数目 
  2. num_accu = np.sum(y_test == y_pred)
  3. print('预测对的结果数目为：', num_accu)
  4. print('预测错的结果数目为：', y_test.shape[0]-num_accu)
  5. print('预测结果准确率为：', num_accu/y_test.shape[0])

2.6. Прогноз результата.

Модель, которая проходит после оценки модели, может быть заменена реальным значением для прогнозирования.

Старые мечты можно пережить заново, посмотрим:Машинное обучение (5) — Обучение с учителем (5) — Линейная регрессия 2
Если вы хотите знать, что будет дальше, давайте посмотрим:Машинное обучение (5) -- Обучение с учителем (7) --SVM1

Личный профиль

Он посвятил себя исследованию технологий более 30 лет и владеет различными языками, такими как Java, Linux, Javascript, php, css и т. д. Он внес большой вклад в область открытого исходного кода. Станция документации для разработчиков, где можно поделиться некоторыми проблемами в разработке технологий для дальнейшего использования.

моя контактная информация

Почта