Compartilhamento de tecnologia

Aprendizado de Máquina (5) - Aprendizado Supervisionado (6) - Regressão Logística

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Índice e links para séries de artigos

Artigo anterior:Aprendizado de Máquina (5) - Aprendizado Supervisionado (5) - Regressão Linear 2
Próximo artigo:Aprendizado de Máquina (5) – Aprendizado Supervisionado (7) –SVM1

Prefácio

tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。“！！！”一般需要特别注意或者容易出错的地方。

本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。

由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！

文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。

1. Compreensão e definição popular

1. O que é regressão logística (o quê)

Regressão logística = regressão linear + função sigmóide

A regressão logística (regressão logística) consiste simplesmente em encontrar uma linha reta para dividir dados binários.

2. O propósito da regressão logística (por quê)

Resolva o problema de classificação binária classificando os objetos pertencentes a uma determinada categoriavalor de probabilidadePara determinar se pertence a uma determinada categoria, esta categoria é marcada como 1 (exemplo positivo) por padrão, e a outra categoria será marcada como 0 (exemplo negativo).

3. Como encontrar esta linha (Como)

Na verdade, isso é semelhante à etapa de regressão linear. A diferença está nos métodos usados ​​para “verificar o efeito de ajuste do modelo” e “ajustar o ângulo de posição do modelo”.

  1. Desenhe uma linha reta aleatoriamente como a linha reta inicial
  2. Verifique seu efeito de ajuste,
  3. Se não for o melhor (limiar atingido), ajuste a posição e o ângulo da linha
  4. Repita os passos 2 e 3 até obter o melhor efeito (atingindo o limite definido) e, finalmente, o modelo que desejamos.

Você precisa usar uma função (função sigmóide) para mapear os dados de entrada entre 0 e 1 e, se o valor da função for maior que 0,5, será considerado 1, caso contrário, será 0. Isso pode ser convertido em uma representação probabilística.

2. Compreensão dos princípios e fórmulas

1. Perceptron

1.1. Descrição do problema

Tome como exemplo a classificação das imagens, divida as imagens em verticais e horizontais

É assim que esses dados são exibidos no gráfico. Para separar os pontos de cores diferentes (categorias diferentes) no gráfico, traçamos essa linha. O objetivo desta classificação é encontrar tal linha.

Esta é uma "linha reta que torna o vetor de peso um vetor normal" (deixe o vetor de peso ser perpendicular à linha)

w é o vetor de peso, tornando-o uma linha reta do vetor normal, par;

1.2. Modelo Perceptron

Um modelo que aceita vários valores, multiplica cada valor pelo seu respectivo peso e, finalmente, gera a soma.

1.3. Função discriminante

O produto interno é uma medida do grau de similaridade entre os vetores. Um resultado positivo indica similaridade, um valor 0 indica verticalidade e um resultado negativo indica dissimilaridade.

usarÉ melhor entender, porque |w| e |x| são ambos números positivos, então o sinal do produto interno é cosθ, ou seja, se for menor que 90 graus, é semelhante, e se for maior que 90 graus, é diferente, ou seja

1.4. Estimativa de parâmetros (expressão de atualização de peso)

Se for igual ao valor do rótulo original, o vetor de peso não será atualizado. Se não for igual ao valor do rótulo original, a adição do vetor será usada para atualizar o vetor de peso.

Conforme mostrado na figura, se não for igual ao rótulo original, então

linha reta após atualização

Após a atualização, igual

Etapas: primeiro determine aleatoriamente uma linha reta (ou seja, determine aleatoriamente um vetor de peso w), substitua um dado de valor real x no produto interno e obtenha um valor (1 ou -1) por meio da função discriminante se for igual. ao valor do rótulo original, o vetor de peso não é atualizado. Se for diferente do valor do rótulo original, use a adição de vetor para atualizar o vetor de peso.

! ! !Nota: O perceptron só pode resolver problemas linearmente separáveis
Linearmente separável: casos em que linhas retas podem ser usadas para classificação
Inseparabilidade linear: não pode ser classificada por linhas retas

2. função sigmóide

Preto é a função sigmóide, vermelho é a função degrau (descontínua)

Função: A entrada da regressão logística é o resultado da regressão linear.Podemos obter um valor previsto na regressão linear. A função Sigmóide mapeia qualquer entrada para o intervalo [0,1], completando assim a conversão de valor em probabilidade, que é uma tarefa de classificação.

3. Regressão logística

3.1 Definição do modelo

Regressão logística = regressão linear + função sigmóide

Regressão linear:

função sigmóide:

Regressão logística:

Para deixar y representar o rótulo, altere-o para:

Para fazer probabilidades use:

3.2. Função discriminante

Ou seja, as categorias podem ser distinguidas por probabilidade

3.3. Limite de decisão

Pode ser reescrito da seguinte forma:

quando

Dados substitutos:

Existe uma imagem assim

A linha reta usada para classificação de dados é o limite de decisão

3.4. Função objetivo (função log de verossimilhança)

O que queremos é isto:
Quando y=1, P(y=1|x) é o maior
Quando y=0, P(y=0|x) é o maior

Função de verossimilhança (probabilidade conjunta): aqui está a probabilidade que queremos maximizar

Função de log de verossimilhança: é difícil diferenciar diretamente a função de verossimilhança e o logaritmo precisa ser obtido primeiro

Após a deformação, torna-se:

3.4. Estimativa de parâmetros (gradiente descendente)

Diferenciação da função de verossimilhança:

3. Vantagens e Desvantagens

3.1. Vantagens:

1. Simples de implementar: A regressão logística é um algoritmo simples, fácil de entender e implementar.
2. Alta eficiência computacional: A regressão logística tem uma quantidade relativamente pequena de cálculos e é adequada para conjuntos de dados em grande escala.
3. Forte interpretabilidade: Os resultados da regressão logística são valores de probabilidade, que podem explicar intuitivamente a saída do modelo.

3.2.

1. Requisitos de separabilidade linear: A regressão logística é um modelo linear e tem desempenho insatisfatório para problemas separáveis ​​não lineares.
2. Problema de correlação de recursos: A regressão logística é mais sensível à correlação entre recursos de entrada. Quando há uma forte correlação entre recursos, pode causar declínio no desempenho do modelo.
3. Problema de overfitting: Quando há muitos recursos de amostra ou o número de amostras é pequeno, a regressão logística está sujeita a problemas de overfitting.

3. **Implementação de algoritmo

1. Obtenha dados

  1. import numpy as np
  2. import pandas as pd
  3. import matplotlib.pyplot as plt
  4. %matplotlib notebook
  5.  
  6. # 读取数据
  7. train=pd.read_csv('csv/images2.csv')
  8. train_x=train.iloc[:,0:2]
  9. train_y=train.iloc[:,2]
  10. # print(train_x)
  11. # print(train_y)
  12.  
  13. # 绘图
  14. plt.figure()
  15. plt.plot(train_x[train_y ==1].iloc[:,0],train_x[train_y ==1].iloc[:,1],'o')
  16. plt.plot(train_x[train_y == 0].iloc[:,0],train_x[train_y == 0].iloc[:,1],'x')
  17. plt.axis('scaled')
  18. # plt.axis([0,500,0,500])
  19. plt.show()

2. Processamento de dados

  1. # 初始化参数
  2. theta=np.random.randn(3)
  3.  
  4. # 标准化
  5. mu = train_x.mean(axis=0)
  6. sigma = train_x.std(axis=0)
  7. # print(mu,sigma)
  8.  
  9.  
  10. def standardize(x):
  11.     return (x - mu) / sigma
  12.  
  13. train_z = standardize(train_x)
  14. # print(train_z)
  15.  
  16. # 增加 x0
  17. def to_matrix(x):
  18.     x0 = np.ones([x.shape[0], 1])
  19.     return np.hstack([x0, x])
  20.  
  21. X = to_matrix(train_z)
  22.  
  23.  
  24. # 绘图
  25. plt.figure()
  26. plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
  27. plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
  28. plt.axis('scaled')
  29. # plt.axis([0,500,0,500])
  30. plt.show()

3. Função sigmóide e função discriminante

  1. # sigmoid 函数
  2. def f(x):
  3.     return 1 / (1 + np.exp(-np.dot(x, theta)))
  4.  
  5. # 分类函数
  6. def classify(x):
  7.     return (f(x) >= 0.5).astype(np.int)

4. Configuração de parâmetros e treinamento

  1. # 学习率
  2. ETA = 1e-3
  3.  
  4. # 重复次数
  5. epoch = 5000
  6.  
  7. # 更新次数
  8. count = 0
  9. print(f(X))
  10.  
  11. # 重复学习
  12. for _ in range(epoch):
  13.     theta = theta - ETA * np.dot(f(X) - train_y, X)
  14.  
  15.     # 日志输出
  16.     count += 1
  17.     print('第 {} 次 : theta = {}'.format(count, theta))

5. Confirmação de desenho

  1. # 绘图确认
  2. plt.figure()
  3. x0 = np.linspace(-2, 2, 100)
  4. plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
  5. plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
  6. plt.plot(x0, -(theta[0] + theta[1] * x0) / theta[2], linestyle='dashed')
  7. plt.show()

 

6.Verificação

  1. # 验证
  2. text=[[200,100],[500,400],[150,170]]
  3. tt=pd.DataFrame(text,columns=['x1','x2'])
  4. # text=pd.DataFrame({'x1':[200,400,150],'x2':[100,50,170]})
  5. x=to_matrix(standardize(tt))
  6. print(x)
  7. a=f(x)
  8. print(a)
  9.  
  10. b=classify(x)
  11. print(b)
  12.  
  13. plt.plot(x[:,1],x[:,2],'ro')

 

4. Implementação de interface

1. Introdução ao conjunto de dados sobre câncer de mama

1.1、API

from sklearn.datasets import load_breast_cancer

1.2. Informações básicas

  1. # 键
  2. print("乳腺癌数据集的键：",breast_cancer.keys())
  3.  
  4.  
  5.  
  6. # 特征值名字、目标值名字
  7. print("乳腺癌数据集的特征数据形状：",breast_cancer.data.shape)
  8. print("乳腺癌数据集的目标数据形状：",breast_cancer.target.shape)
  9.  
  10. print("乳腺癌数据集的特征值名字：",breast_cancer.feature_names)
  11. print("乳腺癌数据集的目标值名字：",breast_cancer.target_names)
  12.  
  13. # print("乳腺癌数据集的特征值：",breast_cancer.data)
  14. # print("乳腺癌数据集的目标值：",breast_cancer.target)
  15.  
  16.  
  17.  
  18. # 返回值
  19. # print("乳腺癌数据集的返回值：n", breast_cancer)
  20. # 返回值类型是bunch--是一个字典类型
  21.  
  22. # 描述
  23. # print("乳腺癌数据集的描述：",breast_cancer.DESCR)
  24.  
  25.  
  26.  
  27. # 每个特征信息
  28. print("最小值：",breast_cancer.data.min(axis=0))
  29. print("最大值：",breast_cancer.data.max(axis=0))
  30. print("平均值：",breast_cancer.data.mean(axis=0))
  31. print("标准差：",breast_cancer.data.std(axis=0))
  32.  

  1. # 取其中间两列特征
  2. x=breast_cancer.data[0:569,0:2]
  3. y=breast_cancer.target[0:569]
  4.  
  5. samples_0 = x[y==0, :]
  6. samples_1 = x[y==1, :]
  7.  
  8.  
  9.  
  10. # 实现可视化
  11. plt.figure()
  12. plt.scatter(samples_0[:,0],samples_0[:,1],marker='o',color='r')
  13. plt.scatter(samples_1[:,0],samples_1[:,1],marker='x',color='y')
  14. plt.xlabel('mean radius')
  15. plt.ylabel('mean texture')
  16. plt.show()

  1. # 绘制每个特征直方图，显示特征值的分布情况。
  2. for i, feature_name in enumerate(breast_cancer.feature_names):
  3.     plt.figure(figsize=(6, 4))
  4.     sns.histplot(breast_cancer.data[:, i], kde=True)
  5.     plt.xlabel(feature_name)
  6.     plt.ylabel("数量")
  7.     plt.title("{}直方图".format(feature_name))
  8.     plt.show()

  1. # 绘制箱线图，展示每个特征最小值、第一四分位数、中位数、第三四分位数和最大值概括。
  2. plt.figure(figsize=(10, 6))
  3. sns.boxplot(data=breast_cancer.data, orient="v")
  4. plt.xticks(range(len(breast_cancer.feature_names)), breast_cancer.feature_names, rotation=90)
  5. plt.xlabel("特征")
  6. plt.ylabel("值")
  7. plt.title("特征箱线图")
  8. plt.show()

1.3. Valores ausentes e outliers.

  1. # 创建DataFrame对象
  2. df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
  3.  
  4. # 检测缺失值
  5. print("缺失值数量：")
  6. print(df.isnull().sum())
  7.  
  8. # 检测异常值
  9. print("异常值统计信息：")
  10. print(df.describe())
  11. # 使用.describe()方法获取数据集的统计信息，包括计数、均值、标准差、最小值、25%分位数、中位数、75%分位数和最大值。

1.4.

  1. # 创建DataFrame对象
  2. df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
  3.  
  4. # 计算相关系数
  5. correlation_matrix = df.corr()
  6.  
  7. # 可视化相关系数热力图
  8. plt.figure(figsize=(10, 8))
  9. sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm")
  10. plt.title("Correlation Heatmap")
  11. plt.show()

2、API

  1. sklearn.linear_model.LogisticRegression
  2.  
  3. 导入：
  4. from sklearn.linear_model import LogisticRegression
  5.  
  6. 语法：
  7. LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)
  8.     solver可选参数:{'liblinear', 'sag', 'saga','newton-cg', 'lbfgs'}，
  9.         默认: 'liblinear'；用于优化问题的算法。
  10.         对于小数据集来说，“liblinear”是个不错的选择，而“sag”和'saga'对于大型数据集会更快。
  11.         对于多类问题，只有'newton-cg'， 'sag'， 'saga'和'lbfgs'可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。
  12.     penalty：正则化的种类
  13.     C：正则化力度

2. Processo

2.1. Obter dados

  1. from sklearn.datasets import load_breast_cancer
  2. from sklearn.model_selection import train_test_split
  3.  
  4. from sklearn.linear_model import LogisticRegression
  5.  
  6. # 获取数据
  7. breast_cancer = load_breast_cancer()

2.2. Pré-processamento de dados

  1. # 划分数据集
  2. x_train,x_test,y_train,y_test = train_test_split(breast_cancer.data, breast_cancer.target, test_size=0.2, random_state=1473)

2.3. Engenharia de recursos

2.4. Treinamento de modelo

  1. # 实例化学习器
  2. lr = LogisticRegression(max_iter=10000)
  3.  
  4. # 模型训练
  5. lr.fit(x_train, y_train)
  6.  
  7. print("建立的逻辑回归模型为：n", lr)

 

2.5. Avaliação do modelo

  1. # 用模型计算测试值，得到预测值
  2. y_pred = lr.predict(x_test)
  3. print('预测前20个结果为：n', y_pred[:20])
  4.  
  5. # 求出预测结果的准确率和混淆矩阵
  6. from sklearn.metrics import accuracy_score, confusion_matrix,precision_score,recall_score
  7. print("预测结果准确率为：", accuracy_score(y_test, y_pred))
  8. print("预测结果混淆矩阵为：n", confusion_matrix(y_test, y_pred))
  9.  
  10. print("预测结果查准率为：", precision_score(y_test, y_pred))
  11. print("预测结果召回率为：", recall_score(y_test, y_pred))

  1. from sklearn.metrics import roc_curve,roc_auc_score,auc
  2.  
  3. fpr,tpr,thresholds=roc_curve(y_test,y_pred)
  4.  
  5. plt.plot(fpr, tpr)
  6. plt.axis("square")
  7. plt.xlabel("假正例率/False positive rate")
  8. plt.ylabel("正正例率/True positive rate")
  9. plt.title("ROC curve")
  10. plt.show()
  11.  
  12. print("AUC指标为：",roc_auc_score(y_test,y_pred))

 

  1. # 求出预测取值和真实取值一致的数目 
  2. num_accu = np.sum(y_test == y_pred)
  3. print('预测对的结果数目为：', num_accu)
  4. print('预测错的结果数目为：', y_test.shape[0]-num_accu)
  5. print('预测结果准确率为：', num_accu/y_test.shape[0])

2.6. Previsão de resultados

O modelo aprovado após a avaliação do modelo pode ser substituído pelo valor real para previsão.

Antigos sonhos podem ser revividos, vejamos:Aprendizado de Máquina (5) - Aprendizado Supervisionado (5) - Regressão Linear 2
Se você quiser saber o que acontece a seguir, vamos dar uma olhada:Aprendizado de Máquina (5) – Aprendizado Supervisionado (7) –SVM1

Perfil pessoal

Ele se dedica à pesquisa de tecnologia há mais de 30 anos e é proficiente em diversas linguagens como java, linux, javascript, php, css, etc. estação de documentação do desenvolvedor para compartilhar alguns problemas no desenvolvimento de tecnologia para referência futura.

minhas informações de contato

Correspondência