Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Esipuhe

Syväoppimisen voimakkaan kehityksen myötä mallien suorituskyky ja yleistyskyky ovat nousseet tutkijoiden huomion kohteeksi. Käytännön sovelluksissa dataan liittyy kuitenkin usein erilaisia ​​ääniä. Nämä melut eivät johdu vain laitteiston rajoituksista tiedonkeruuprosessissa, vaan niitä voivat aiheuttaa myös ympäristöhäiriöt ja lähetysvirheet. Kohinan olemassaolo vaikuttaa vakavasti syväoppimismallien harjoitteluvaikutukseen ja ennustetarkkuuteen erityisesti puheentunnistuksen ja kuvanluokituksen kaltaisissa tehtävissä. Siksi syväoppimismallien kohinan kestävyyden parantamisesta eli mallin vakaan suorituskyvyn ja tunnistuskyvyn parantamisesta meluisissa ympäristöissä on tullut nykyisen tutkimuksen tärkeä suunta. Suunnittelemalla tehokkaampia tietojen esikäsittelyalgoritmeja, optimoimalla mallirakenteita ja ottamalla käyttöön melutehosteista koulutusta ja muita teknisiä keinoja syväoppimismallien melunkestävyyttä voidaan parantaa merkittävästi, mikä edistää niiden käyttöä monimutkaisemmissa skenaarioissa.

Melun kestävyys

• olla olemassaRegularisointitekniikka syvän oppimisen tietojoukon parantamisessa ovat inspiroineet kohinan soveltamista syötteisiin tietojoukon lisäysstrategiana. Joissakin malleissa kohinan lisääminen minimivarianssilla mallin syötteeseen vastaa normirangaistuksen lisäämistä painoihin (Bishop, 1995a,b). Yleensä kohinan injektio on paljon tehokkaampi kuin pelkkä parametrien pienentäminen, varsinkin kun kohinaa lisätään piilotettuihin yksiköihin.Melun lisääminen piilotettuihin yksiköihin on tärkeä aihe, joka ansaitsee oman keskustelunsa。
• toinenNormalisoidussa mallissa kohinaa käytetään lisäämällä se painoihin . Tätä tekniikkaa käytetään pääasiassa toistuvissa hermoverkoissa (Jim et al., 1996; Graves, 2011). Tämä voidaan tulkita painojen Bayesin päättelyn stokastisena toteutuksena. Bayesilaisen lähestymistavan käyttö oppimisprosessissa käsittelee painoja epävarmoina, ja tämä epävarmuus voidaan esittää todennäköisyysjakaumalla. Kohinan lisääminen painoihin on käytännöllinen stokastinen tapa heijastaa tätä epävarmuutta.
• Tietyillä olettamuksilla painoihin kohdistettu kohina voidaan tulkita vastaavaksi perinteisempiä regularisointimuotoja, mikä edistää opittavan funktion vakautta.
• Tutkimme regression tapausta, eli joukon piirteitä harjoittelemista$\mathbf{x}$skalaariin kartoitettu funktio$\hat{y}(\mathbf{x})$, ja käytä pienimmän neliösumman kustannusfunktiota mallin ennustearvon mittaamiseen$\hat{y}$todellisella arvolla$y$virhe：
  $J={\mathbb{E}}_{s(x,y)}[(\hat{y}(\mathbf{x})-y{)}^2]\text{—kaava1}$
• Treenisarja sisältää$m$Esimerkkejä huomautuksista$\{({\mathbf{x}}^{(i)},y^{(i)}),\dots ,({\mathbf{x}}^{(m)},y^{(m)})\}$
• Nyt oletetaan, että jokaiseen tuloesitykseen lisätään verkon painojen satunnainen häiriö${ϵ}_w\sim \mathcal{N}(\mathbf{ϵ};0,\eta \mathbf{minä})$Kuvittele, että meillä on standardi$l$kerros$\text{MLP}$ .Merkitsemme häiriömallia nimellä${\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})$。
• Olemme kiinnostuneita vähentämään verkon lähtövirheen neliötä kohinainjektiosta huolimatta. Siksi tavoitefunktio on:$\{\begin{array}{l}\begin{array}{rl}{\hat{J}}_{\mathbf{W}}& ={\mathbb{E}}_s(\mathbf{x},y,{ϵ}_{\mathbf{W}})[({\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})-y{)}^2]\text{—kaava2}\\ & ={\mathbb{E}}_s(\mathbf{x},y,{ϵ}_{\mathbf{W}})[{\hat{y}}_{{ϵ}_{\mathbf{W}}}^2(\mathbf{x})-2y{\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})+y^2]\text{—kaava3}\end{array}\end{array}$
• pienille$\eta$, minimoi painotetun kohinan (varianssi on$\eta \mathbf{minä}$)/$J$Vastaa ylimääräisen tasoitusajan minimoimista$J:\eta {\mathbb{E}}_{s(x,y)}\left[\Vert {\nabla }_{\mathbf{W}}\hat{y}(\mathbf{x}){\Vert }^2\right]$。
• Tämä regularisoinnin muoto rohkaisee parametreja syöttämään parametriavaruuden alueita, joissa painojen pienillä häiriöillä on suhteellisen vähän vaikutusta ulostuloon. Toisin sanoen se työntää mallin alueelle, joka on suhteellisen epäherkkä pienille painojen muutoksille, ja löydetyt pisteet eivät ole vain minimipisteitä, vaan tasaisten alueiden ympäröimiä minimipisteitä (Hochreiter ja Schmidhuber, 1995).
• Yksinkertaistetussa lineaarisessa regressiossa (esim.$\hat{y}(\mathbf{x})={\mathbf{w}}^{\top }\mathbf{x}+b$, tavallinen termi rappeutuu seuraavasti:$\eta {\mathbb{E}}_{s(x)}[\Vert \mathbf{x}{\Vert }^2]$, jolla ei ole mitään tekemistä funktion parametrien kanssa, joten se ei tee${\hat{J}}_w$Osallistuu mallin parametrien gradienteihin.

Ruiskuta kohinaa lähtökohteeseen

• Useimmat tietojoukot$y$ Tarroissa on joitain virheitä.kun$y$on väärin maksimoida$\log s(y\mid \mathbf{x})$olisi haitallista.
• Yksi tapa estää tämä on mallintaa selkeästi tarrojen kohina.
  • Voimme esimerkiksi olettaa, että jollekin pienelle vakiolle$ϵ$, harjoitussarjan etiketti$y$Todennäköisyys olla oikeassa on$1-ϵ$, mikä tahansa muu mahdollinen tarra saattaa olla oikea.
  • Tämä oletus voidaan helposti yhdistää analyyttisesti kustannusfunktioon ilman, että otettaisiin nimenomaisesti meluisia näytteitä.
  • Esimerkiksi,etiketin tasoitus(etiketin tasoitus) perustuu$k$ulostulo$\text{softmax}$funktio, joka viittaa selkeään luokitukseen$0$ja$1$Korvata$\frac{ϵ}{k-1}$ja$1-ϵ$, mallin tasaamiseksi.
• Näiden epätarkkojen kohteiden tulostuksessa voidaan käyttää tavallista ristientropiahäviötä.käyttää$\text{softmax}$Maksimitodennäköisyys funktioiden ja eksplisiittisten tavoitteiden oppiminen ei ehkä koskaan lähentyisi -$\text{softmax}$Toimintoja ei voi koskaan todella ennustaa$0$todennäköisyys tai$1$ todennäköisyydellä, joten se oppii jatkuvasti suurempia painoja, mikä tekee ennusteista äärimmäisempiä. Muiden laillistamisstrategioiden, kuten painon pudotuksen, käyttö voi estää tämän. Etiketin tasoittamisen etuna on se, että se estää mallia tavoittelemasta yksiselitteisiä todennäköisyyksiä estämättä oikeaa luokittelua. Tätä strategiaa on käytetty 1980-luvulta lähtien ja se on edelleen näkyvästi esillä nykyaikaisissa neuroverkoissa (Szegedy et al., 2015).

Tee yhteenveto

• Melun kestävyyden parantaminen syväoppimisessa on avainasemassa sen varmistamiseksi, että malli toimii vakaasti reaalimaailman ympäristöissä. Useilla innovatiivisilla teknisillä keinoilla, kuten tietojen parantaminen, kohinan injektiokoulutus, mallin rakenteen optimointi jne., voimme tehokkaasti parantaa mallin melunsietokykyä ja tunnistustarkkuutta. Nämä ponnistelut eivät ainoastaan ​​edistä syvän oppimisteknologian jatkokehitystä, vaan tuovat myös luotettavampia ja tehokkaampia ratkaisuja käytännön sovelluksiin puheentunnistuksessa, kuvantunnistuksessa, luonnollisen kielen käsittelyssä ja muilla aloilla.
• Tulevaisuudessa tutkimuksen syvenemisen ja teknologian jatkuvan kehittymisen myötä meillä on syytä uskoa, että syväoppimismallien melun kestävyys paranee entisestään, mikä tuo vallankumouksellisia muutoksia yhä useammalle osa-alueelle.

Menneen sisällön paluu

Regularisointitekniikka syvän oppimisen tietojoukon parantamisessa