Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Fonction d'activation sigmoïde :

La fonction sigmoïde est une fonction d'activation importante pour construire un modèle de régression logistique, comme le montre la figure ci-dessous.

• deuxLe but du problème de classification est de contrôler la sortie du modèle dans la plage de [0,1], lorsque le résultat de sortie du modèle est <0,5, le résultat de prédiction par défaut est 0 ; lorsque le résultat de sortie du modèle est >0,5, le résultat de prédiction par défaut est 1 ;
• L'idée pour résoudre le problème de classification binaire est de mapper l'entrée x du problème de classification binaire à l'entrée z de la fonction sigmoïde en construisant un modèle de régression logistique f pour calculer la sortie g, puis d'obtenir le résultat du modèle de régression logistique. basé sur la plage de g (qu'elle soit supérieure à 0,5) (c'est-à-dire le résultat d'un problème à deux classifications).
• Le domaine de la fonction ∈ R, la plage de valeurs ∈ [0,1], lorsqueEntrez z<0Quand, fonction sogmoïdeRésultat de sortie g<0,5,La valeur par défaut estLe résultat est 0,constituerLa première catégorie du problème de classification binaire .quandEntrez z>0Quand, fonction sogmoïdeRésultat de sortie g>0,5,La valeur par défaut estLe résultat est 1,constituerLa deuxième catégorie du problème de classification binaire。

2. Introduction à la régression logistique :

La régression logistique est utilisée pour résoudreProblème de deux classifications . Pour les problèmes de classification, il n’existe qu’un nombre limité de résultats de sortie du modèle (pour les problèmes de régression, il y en a une infinité).Dans le problème de classification binaire, il n’y a que deux résultats de sortie du modèle.

Dans le cas classique du problème de régression « Tumor Prediction Case », la fonction de taille de la tumeur est utilisée pour prédire si la tumeur est une tumeur maligne. Il n'y a que deux résultats de sortie : oui (1) ou non (0).

À l’heure actuelle, il est difficile d’ajuster l’ensemble de formation à l’aide d’un modèle de régression linéaire.(La régression linéaire résout un problème de régression, tandis que le cas de prédiction de tumeur est un problème de classification, ou un problème de classification binaire pour être précis), c'est pourquoi l'idée de régression logistique a été proposée.

Modèle de régression logistique (résoudre les problèmes de classification) : saisir une fonctionnalité ou un ensemble de fonctionnalités X et générer un nombre compris entre 0 et 1 , où la courbe d'ajustement est construite via la fonction Sogmoïde. Le processus de construction spécifique est le suivant :

• La première ligne explique :Modèle de régression logistiquefConstruire une régression synlinéaire parEnsemble de fonctionnalités d'entrée X et résultat de prédiction de sortie f, la différence est queplage de valeurs f∈[0,1]。
• Explication des deuxième, troisième et quatrième lignes : précédemment, nous avons introduit que la sortie g de la fonction sigmoïde peut très bien résoudre le problème des deux classifications, nous avons donc intelligemment utilisé la fonction sigmoïde pour construire le modèle de régression logistique f afin de résoudre les deux- problème de classement.Mappez l'ensemble de fonctionnalités d'entrée X à l'entrée z de la fonction sigmoïde à l'aide d'une régression linéaire ou d'une régression polynomiale，Implémenter la sortie de la fonction Sigmoïde，Calculez ensuite la sortie f (0 ou 1) du modèle de régression logistique selon que le résultat de sortie de la fonction sigmoïde est supérieur à 0,5., obtenez le résultat du problème des deux classifications.
• Explication de la cinquième ligne : les idées ci-dessus peuvent être intégrées pour obtenir le modèle de régression logistique f, dans lequel l'entrée du modèle est l'ensemble de caractéristiques X et la sortie est le résultat prédit de la classification 0 ou 1.
• Explication de la sixième ligne : Lorsque le résultat de sortie du modèle de régression logistique est supérieur ou égal à 0,5, la valeur prédite y^ est 1, ce qui signifie que la tumeur est une tumeur maligne dans l'exemple ci-dessus lorsque le résultat de sortie de ; le modèle de régression logistique est inférieur ou égal à 0,5, la valeur prédite est 0, ce qui signifie que la tumeur n'est pas maligne, en utilisant l'exemple ci-dessus.

3. Limites de décision

Il n'est pas difficile de déduire de ce qui précède que lorsque l'entrée z de la fonction sigmoïde est supérieure ou égale à 0, c'est-à-dire lorsque le mappage z=wx+b de l'ensemble de fonctionnalités X à z est supérieur ou égal à 0, le résultat de sortie du modèle est 1 ; lorsque l'entrée z de la fonction sigmoïde est inférieure à 0, c'est-à-dire lorsque le mappage z=wx+b de l'ensemble de fonctionnalités X à z est inférieur à 0, le résultat de sortie du modèle est 0.
C'est le concept par lequel nous pouvons définir des limites de décision :L'équation qui rend le mappage de l'entrée du modèle X à l'entrée de la fonction sigmoïde z égale à 0 est appelée limite de décision.

En prenant le modèle de prédiction de tumeur ci-dessus comme exemple, le mappage de l'entrée du modèle X à l'entrée de la fonction sigmoïde z est z=wx+b, alors la limite de décision est wx+b=0.

Utilisons une image pour illustrer la signification de la limite de décision :

• Exemple 1:mapper à une fonction linéaire
  
  La figure ci-dessus montre la vraie valeur de l'étiquette lorsque les caractéristiques x1 et x2 dans l'ensemble d'apprentissage ont des valeurs différentes. Le cercle représente le résultat de classification de l'échantillon comme 0 et la croix représente le résultat de classification de l'échantillon comme 1.

  Le modèle de régression logistique est celui indiqué ci-dessus, où le mappage de l'entrée du modèle X à l'entrée de la fonction sigmoïde z est z=w1x1+w2x2+b, et la limite de décision est w1x1+w2x2+b=0. Si les résultats de la formation du modèle sont w1=1, w2=1, b=-3, la limite de décision est x1+x2-3=0 et l'image fonctionnelle de la limite de décision est comme indiqué dans la figure ci-dessus,On peut voir que si les caractéristiques de l'échantillon sont situées sur le côté gauche de la limite de décision, la prédiction de régression logistique est 0, sinon elle est 1. C'est la signification de l'image de la limite de décision.

• Exemple 2 :Mapper à la fonction polynomiale
  
  Le mappage à partir de l'entrée du modèleLa position des caractéristiques de l'échantillon par rapport à la limite de décision détermine le résultat de prédiction de l'échantillon.

4. Processus de formation du modèle de régression logistique :

En fait, c'est le même que le processus de formation par régression linéaire, sauf que le modèle (fonction) à former est différent.

1. Objectifs de la formation :

2. Paramètres de réglage de la descente de gradient :