Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Sigmoid-Aktivierungsfunktion:

Die Sigmoid-Funktion ist eine wichtige Aktivierungsfunktion zum Aufbau eines logistischen Regressionsmodells, wie in der folgenden Abbildung dargestellt.

• zweiDas Ziel des Klassifizierungsproblems besteht darin, die Ausgabe des Modells innerhalb des Bereichs von [0,1] zu steuern.Wenn das Modellausgabeergebnis <0,5 ist, ist das Standardvorhersageergebnis 0. Wenn das Modellausgabeergebnis> 0,5 ist, ist das Standardvorhersageergebnis 1.
• Die Idee zur Lösung des binären Klassifizierungsproblems besteht darin, die Eingabe x des binären Klassifizierungsproblems der Eingabe z der Sigmoidfunktion zuzuordnen, indem ein logistisches Regressionsmodell f erstellt wird, um die Ausgabe g zu berechnen, und dann das Ergebnis des logistischen Regressionsmodells zu erhalten basierend auf dem Bereich von g (ob er größer als 0,5 ist) (Das heißt, das Ergebnis eines Zwei-Klassifizierungsproblems).
• Der Bereich der Funktion ∈ R, der Wertebereich ∈ [0,1], wennGeben Sie z<0 einWann, SogmoidfunktionAusgabeergebnis g<0,5,Die Standardeinstellung istDas Ergebnis ist 0,bildenDie erste Kategorie des binären Klassifizierungsproblems .WannGeben Sie z>0 einWann, SogmoidfunktionAusgabeergebnis g>0,5,Die Standardeinstellung istDas Ergebnis ist 1,bildenDie zweite Kategorie des binären Klassifizierungsproblems。

2. Einführung in die logistische Regression:

Zur Lösung wird die logistische Regression verwendetZwei Klassifizierungsprobleme . Bei Klassifizierungsproblemen gibt es nur eine begrenzte Anzahl an Ausgabeergebnissen des Modells (bei Regressionsproblemen gibt es unendlich viele).Beim binären Klassifizierungsproblem gibt es nur zwei Ausgabeergebnisse des Modells.

Im klassischen Fall des Regressionsproblems „Tumor Prediction Case“ wird das Tumorgrößenmerkmal verwendet, um vorherzusagen, ob es sich bei dem Tumor um einen bösartigen Tumor handelt. Es gibt nur zwei Ausgabeergebnisse: Ja (1) oder Nein (0).

Derzeit ist es schwierig, den Trainingssatz mithilfe eines linearen Regressionsmodells anzupassen.(Die lineare Regression löst ein Regressionsproblem, während der Fall der Tumorvorhersage ein Klassifizierungsproblem oder genauer gesagt ein binäres Klassifizierungsproblem ist.)Daher wurde die Idee der logistischen Regression vorgeschlagen.

Logistisches Regressionsmodell (Klassifizierungsprobleme lösen): Geben Sie ein Merkmal oder einen Merkmalssatz X ein und geben Sie eine Zahl zwischen 0 und 1 aus , wobei die Anpassungskurve durch die Sogmoidfunktion konstruiert wird. Der konkrete Bauablauf ist wie folgt:

• Die erste Zeile erklärt:Logistisches RegressionsmodellfKonstruieren Sie eine synlineare Regression durchEingabe-Feature-Set X und Ausgabe-Vorhersageergebnis f, der Unterschied besteht darinf-Wertebereich∈[0,1]。
• Erläuterung der zweiten, dritten und vierten Zeile: Zuvor haben wir eingeführt, dass die Ausgabe g der Sigmoid-Funktion das Zwei-Klassifizierungsproblem sehr gut lösen kann. Deshalb haben wir die Sigmoid-Funktion geschickt verwendet, um das logistische Regressionsmodell f zu erstellen und das Zwei-Klassifizierungsproblem zu lösen. Klassifizierungsproblem.Ordnen Sie den Eingabemerkmalssatz X mithilfe der linearen Regression oder Polynomregression der Eingabe z der Sigmoidfunktion zu，Implementieren Sie die Ausgabe der Sigmoid-Funktion，Berechnen Sie dann die Ausgabe f (0 oder 1) des logistischen Regressionsmodells basierend darauf, ob das Ausgabeergebnis der Sigmoid-Funktion größer als 0,5 ist., erhalten Sie das Ergebnis des Zwei-Klassifizierungsproblems.
• Erläuterung der fünften Zeile: Die obigen Ideen können integriert werden, um das logistische Regressionsmodell f zu erhalten, bei dem die Eingabe des Modells der Merkmalssatz X und die Ausgabe das vorhergesagte Ergebnis der Klassifizierung 0 oder 1 ist.
• Erläuterung der sechsten Zeile: Wenn das Ausgabeergebnis des logistischen Regressionsmodells größer oder gleich 0,5 ist, ist der vorhergesagte Wert y^ 1, was bedeutet, dass der Tumor im obigen Beispiel ein bösartiger Tumor ist; Das logistische Regressionsmodell ist kleiner oder gleich 0,5. Der vorhergesagte Wert ist 0, was bedeutet, dass der Tumor im obigen Beispiel nicht bösartig ist.

3. Entscheidungsgrenzen

Aus dem Obigen lässt sich leicht ableiten, dass die Eingabe z der Sigmoid-Funktion größer oder gleich 0 ist, das heißt, wenn die Zuordnung z = wx + b des Merkmalssatzes X auf z größer oder gleich ist 0, das Ausgabeergebnis des Modells ist 1; wenn die Eingabe z der Sigmoid-Funktion kleiner als 0 ist, das heißt, wenn die Zuordnung z=wx+b vom Merkmalssatz X zu z kleiner als 0 ist, ist das Ausgabeergebnis des Modells ist 0.
Dies ist das Konzept, mit dem wir Entscheidungsgrenzen ermitteln können:Die Gleichung, die die Abbildung der Modelleingabe X auf die Sigmoid-Funktionseingabe z gleich 0 macht, wird als Entscheidungsgrenze bezeichnet.

Am Beispiel des obigen Tumorvorhersagemodells beträgt die Zuordnung von der Modelleingabe X zur Sigmoid-Funktionseingabe z z=wx+b, dann ist die Entscheidungsgrenze wx+b=0.

Lassen Sie uns die Bedeutung der Entscheidungsgrenze anhand eines Bildes veranschaulichen:

• Beispiel 1:Auf lineare Funktion abbilden
  
  Die obige Abbildung zeigt den wahren Wert der Beschriftung, wenn die Merkmale x1 und x2 im Trainingssatz unterschiedliche Werte haben. Der Kreis stellt das Klassifizierungsergebnis der Stichprobe als 0 dar und das Kreuz stellt das Klassifizierungsergebnis der Stichprobe als 1 dar.

  Das logistische Regressionsmodell ist wie oben gezeigt, wobei die Zuordnung von der Modelleingabe X zur Sigmoid-Funktionseingabe z z=w1x1+w2x2+b ist und die Entscheidungsgrenze w1x1+w2x2+b=0 ist. Wenn die Ergebnisse des Modelltrainings w1 = 1, w2 = 1, b = -3 sind, ist die Entscheidungsgrenze x1 + x2-3 = 0 und das Funktionsbild der Entscheidungsgrenze ist wie in der obigen Abbildung dargestellt.Es ist ersichtlich, dass die logistische Regressionsvorhersage 0 ist, wenn sich die Merkmale der Stichprobe auf der linken Seite der Entscheidungsgrenze befinden, andernfalls 1. Dies ist die Bildbedeutung der Entscheidungsgrenze.

• Beispiel 2:Auf Polynomfunktion abbilden
  
  Die Zuordnung aus der ModelleingabeDie Position der Merkmale der Stichprobe relativ zur Entscheidungsgrenze bestimmt das Vorhersageergebnis der Stichprobe.

4. Trainingsprozess des logistischen Regressionsmodells:

Tatsächlich ist es dasselbe wie der Trainingsprozess der linearen Regression, mit der Ausnahme, dass das zu trainierende Modell (die Funktion) unterschiedlich ist.

1. Trainingsziele:

2. Parameter zur Anpassung des Gradientenabfalls: