Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Πρόλογος

Με τη δυναμική ανάπτυξη της βαθιάς μάθησης, η απόδοση και η ικανότητα γενίκευσης των μοντέλων έχουν γίνει στο επίκεντρο των ερευνητών. Ωστόσο, τα δεδομένα σε πρακτικές εφαρμογές συνοδεύονται συχνά από διάφορους θορύβους Αυτοί οι θόρυβοι όχι μόνο προέρχονται από περιορισμούς υλικού στη διαδικασία απόκτησης δεδομένων, αλλά μπορεί επίσης να εισαχθούν από παράγοντες όπως οι περιβαλλοντικές παρεμβολές και τα σφάλματα μετάδοσης. Η ύπαρξη θορύβου επηρεάζει σοβαρά το αποτέλεσμα εκπαίδευσης και την ακρίβεια πρόβλεψης των μοντέλων βαθιάς μάθησης, ειδικά σε εργασίες όπως η αναγνώριση ομιλίας και η ταξινόμηση εικόνων. Επομένως, η βελτίωση της ευρωστίας του θορύβου των μοντέλων βαθιάς εκμάθησης, δηλαδή η ενίσχυση της σταθερής απόδοσης και των δυνατοτήτων αναγνώρισης του μοντέλου σε θορυβώδη περιβάλλοντα, έχει γίνει μια σημαντική κατεύθυνση της τρέχουσας έρευνας. Σχεδιάζοντας πιο αποτελεσματικούς αλγόριθμους προεπεξεργασίας δεδομένων, βελτιστοποιώντας τις δομές μοντέλων και εισάγοντας εκπαίδευση με ενισχυμένο θόρυβο και άλλα τεχνικά μέσα, η αντίσταση των μοντέλων βαθιάς μάθησης στον θόρυβο μπορεί να βελτιωθεί σημαντικά, προωθώντας έτσι την εφαρμογή του σε πιο σύνθετα σενάρια.

Ανθεκτικότητα θορύβου

• υπάρχειΤεχνολογία τακτοποίησης στη βαθιά μάθηση-βελτίωση συνόλων δεδομένων έχουν εμπνεύσει την εφαρμογή του θορύβου στην είσοδο ως στρατηγική αύξησης συνόλων δεδομένων. Για ορισμένα μοντέλα, η προσθήκη θορύβου με ελάχιστη απόκλιση στην είσοδο του μοντέλου ισοδυναμεί με την προσθήκη μιας κανονικής ποινής στα βάρη (Bishop, 1995a,b). Γενικά, η έγχυση θορύβου είναι πολύ πιο ισχυρή από την απλή συρρίκνωση των παραμέτρων, ειδικά όταν προστίθεται θόρυβος σε κρυφές μονάδες.Η προσθήκη θορύβου σε κρυφές μονάδες είναι ένα σημαντικό θέμα που αξίζει να συζητηθεί。
• αλλοΟ θόρυβος χρησιμοποιείται σε ένα κανονικοποιημένο μοντέλο προσθέτοντάς τον στα βάρη . Αυτή η τεχνική χρησιμοποιείται κυρίως σε επαναλαμβανόμενα νευρωνικά δίκτυα (Jim et al., 1996; Graves, 2011). Αυτό μπορεί να ερμηνευθεί ως μια στοχαστική εφαρμογή του συμπερασμάτων Bayes σχετικά με τα βάρη. Η χρήση μιας Μπεϋζιανής προσέγγισης στη μαθησιακή διαδικασία αντιμετωπίζει τα βάρη ως αβέβαια και αυτή η αβεβαιότητα μπορεί να αναπαρασταθεί από μια κατανομή πιθανοτήτων. Η προσθήκη θορύβου στα βάρη είναι ένας πρακτικός στοχαστικός τρόπος να αντικατοπτρίζεται αυτή η αβεβαιότητα.
• Κάτω από ορισμένες παραδοχές, ο θόρυβος που εφαρμόζεται στα βάρη μπορεί να ερμηνευθεί ως ισοδύναμος με πιο παραδοσιακές μορφές τακτοποίησης, ενθαρρύνοντας τη σταθερότητα της συνάρτησης που πρέπει να μαθευτεί.
• Μελετάμε την περίπτωση της παλινδρόμησης, δηλαδή την εκπαίδευση ενός συνόλου χαρακτηριστικών$\mathbf{{\rm X}}$συνάρτηση αντιστοιχισμένη σε βαθμωτό$\hat{y}(\mathbf{{\rm X}})$και χρησιμοποιήστε τη συνάρτηση κόστους ελαχίστων τετραγώνων για να μετρήσετε την τιμή πρόβλεψης του μοντέλου$\hat{y}$με αληθινή αξία$y$λάθος：
  $J={\mathbb{\mu \iota }}_{\Pi ({\rm X},y)}[(\hat{y}(\mathbf{{\rm X}})-y{)}^2]\text{—τύπος1}$
• Το σετ εκπαίδευσης περιέχει${\rm M}$Παραδείγματα σχολιασμού$\{({\mathbf{{\rm X}}}^{({\rm E}\gamma ώ)},y^{({\rm E}\gamma ώ)}),\dots ,({\mathbf{{\rm X}}}^{({\rm M})},y^{({\rm M})})\}$
• Τώρα υποθέτουμε ότι σε κάθε αναπαράσταση εισόδου προστίθεται μια τυχαία διαταραχή των βαρών του δικτύου${ϵ}_w\sim \mathcal{{\rm N}}(\mathbf{ϵ};0,\eta \mathbf{{\rm E}\gamma ώ})$Φανταστείτε ότι έχουμε ένα πρότυπο$\mu \epsilon \gamma ά\lambda o$στρώμα$\text{MLP}$ .Συμβολίζουμε το μοντέλο διαταραχής ως${\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{{\rm X}})$。
• Μας ενδιαφέρει να μειώσουμε το τετράγωνο του σφάλματος εξόδου δικτύου παρά την έγχυση θορύβου. Επομένως η αντικειμενική συνάρτηση είναι:$\{\begin{array}{l}\begin{array}{rl}{\hat{J}}_{\mathbf{W}}& ={\mathbb{\mu \iota }}_{\Pi }(\mathbf{{\rm X}},y,{ϵ}_{\mathbf{W}})[({\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{{\rm X}})-y{)}^2]\text{—τύπος2}\\ & ={\mathbb{\mu \iota }}_{\Pi }(\mathbf{{\rm X}},y,{ϵ}_{\mathbf{W}})[{\hat{y}}_{{ϵ}_{\mathbf{W}}}^2(\mathbf{{\rm X}})-2y{\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{{\rm X}})+y^2]\text{—τύπος3}\end{array}\end{array}$
• για μικρά$\eta$, ελαχιστοποιώντας τον σταθμισμένο θόρυβο (η διακύμανση είναι$\eta \mathbf{{\rm E}\gamma ώ}$)του$J$Ισοδυναμεί με την ελαχιστοποίηση του πρόσθετου όρου τακτοποίησης$J:\eta {\mathbb{\mu \iota }}_{\Pi ({\rm X},y)}\left[\Vert {\nabla }_{\mathbf{W}}\hat{y}(\mathbf{{\rm X}}){\Vert }^2\right]$。
• Αυτή η μορφή τακτοποίησης ενθαρρύνει τις παραμέτρους να εισέλθουν σε περιοχές του χώρου παραμέτρων όπου μικρές διαταραχές στα βάρη έχουν σχετικά μικρό αντίκτυπο στην έξοδο. Με άλλα λόγια, ωθεί το μοντέλο σε μια περιοχή που είναι σχετικά μη ευαίσθητη σε μικρές αλλαγές στα βάρη και τα σημεία που βρέθηκαν δεν είναι απλώς ελάχιστα σημεία, αλλά ελάχιστα σημεία που περιβάλλονται από επίπεδες περιοχές (Hochreiter and Schmidhuber, 1995).
• Σε απλοποιημένη γραμμική παλινδρόμηση (π.χ.$\hat{y}(\mathbf{{\rm X}})={\mathbf{w}}^{\top }\mathbf{{\rm X}}+\sigma \iota$, ο κανονικός όρος εκφυλίζεται σε:$\eta {\mathbb{\mu \iota }}_{\Pi ({\rm X})}[\Vert \mathbf{{\rm X}}{\Vert }^2]$, που δεν έχει καμία σχέση με τις παραμέτρους της συνάρτησης, άρα δεν θα έχει${\hat{J}}_w$Συμβάλλει στις κλίσεις των παραμέτρων του μοντέλου.

Εισάγετε θόρυβο στον στόχο εξόδου

• Τα περισσότερα σύνολα δεδομένων$y$ Υπάρχουν κάποια λάθη στις ετικέτες.πότε$y$είναι λάθος να μεγιστοποιείς$\mathrm{\iota \delta oύ\sigma o\lambda }\Pi (y\mid \mathbf{{\rm X}})$θα ήταν επιβλαβές.
• Ένας τρόπος για να αποφευχθεί αυτό είναι να διαμορφώσετε ρητά τον θόρυβο στις ετικέτες.
  • Για παράδειγμα, μπορούμε να υποθέσουμε ότι για κάποια μικρή σταθερά$ϵ$, ετικέτα σετ εκπαίδευσης$y$Η πιθανότητα να είσαι σωστός είναι$1-ϵ$, οποιαδήποτε άλλη πιθανή ετικέτα μπορεί να είναι σωστή.
  • Αυτή η υπόθεση μπορεί εύκολα να συνδυαστεί αναλυτικά με τη συνάρτηση κόστους χωρίς ρητή λήψη θορυβωδών δειγμάτων.
  • Για παράδειγμα,εξομάλυνση ετικέτας(εξομάλυνση ετικέτας) με βάση$\kappa$μια έξοδο$\text{softmax}$λειτουργία, η οποία παραπέμπει σε σαφή ταξινόμηση$0$και$1$Αντικατέστησε με$\frac{ϵ}{\kappa -1}$και$1-ϵ$, για την τακτοποίηση του μοντέλου.
• Η τυπική απώλεια διασταυρούμενης εντροπίας μπορεί να χρησιμοποιηθεί στην έξοδο αυτών των μη ακριβών στόχων.χρήση$\text{softmax}$Η μέγιστη πιθανότητα εκμάθησης των λειτουργιών και των σαφών στόχων δεν μπορεί ποτέ να συγκλίνουν -$\text{softmax}$Οι συναρτήσεις δεν μπορούν ποτέ να προβλέψουν αληθινά$0$πιθανότητα ή$1$ πιθανότητα, επομένως συνεχίζει να μαθαίνει όλο και μεγαλύτερα βάρη, κάνοντας τις προβλέψεις πιο ακραίες. Η χρήση άλλων στρατηγικών τακτοποίησης όπως η αποσύνθεση βάρους μπορεί να το αποτρέψει. Η εξομάλυνση ετικετών έχει το πλεονέκτημα ότι εμποδίζει το μοντέλο να ακολουθεί σαφείς πιθανότητες χωρίς να παρεμποδίζει τη σωστή ταξινόμηση. Αυτή η στρατηγική έχει χρησιμοποιηθεί από τη δεκαετία του 1980 και συνεχίζει να εμφανίζεται εξέχουσα θέση στα σύγχρονα νευρωνικά δίκτυα (Szegedy et al., 2015).

Συνοψίζω

• Η βελτίωση της ανθεκτικότητας του θορύβου στη βαθιά εκμάθηση είναι το κλειδί για τη διασφάλιση της σταθερότητας του μοντέλου σε περιβάλλοντα πραγματικού κόσμου. Μέσω μιας σειράς καινοτόμων τεχνικών μέσων, όπως η βελτίωση δεδομένων, η εκπαίδευση έγχυσης θορύβου, η βελτιστοποίηση της δομής του μοντέλου κ.λπ., μπορούμε να βελτιώσουμε αποτελεσματικά την ανοχή του μοντέλου στον θόρυβο και την ακρίβεια αναγνώρισης. Αυτές οι προσπάθειες όχι μόνο προωθούν την περαιτέρω ανάπτυξη της τεχνολογίας βαθιάς μάθησης, αλλά φέρνουν επίσης πιο αξιόπιστες και αποτελεσματικές λύσεις σε πρακτικές εφαρμογές στην αναγνώριση ομιλίας, την αναγνώριση εικόνας, την επεξεργασία φυσικής γλώσσας και άλλους τομείς.
• Στο μέλλον, με την εμβάθυνση της έρευνας και τη συνεχή πρόοδο της τεχνολογίας, έχουμε λόγους να πιστεύουμε ότι η ανθεκτικότητα του θορύβου των μοντέλων βαθιάς μάθησης θα βελτιωθεί περαιτέρω, φέρνοντας επαναστατικές αλλαγές σε περισσότερα πεδία.

Επιστροφή προηγούμενου περιεχομένου

Τεχνολογία τακτοποίησης στη βαθιά μάθηση-βελτίωση συνόλων δεδομένων