Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αυτό το άρθρο προέρχεται από το Ottawa Wireless Advanced System Competence Centre and Wireless Technology Laboratory Μεταξύ των συγγραφέων είναι ο διάσημος Tong Wen.

1. Κύρια προβλήματα που αντιμετωπίζουν οι παγκόσμιοι πομποδέκτες με αρχιτεκτονική αυτοκωδικοποίησης

Το πιο εμπνευσμένο μέρος του άρθρου για μένα είναι ότι αναφέρει τα κύρια προβλήματα που αντιμετωπίζουν οι παγκόσμιοι πομποδέκτες με αρχιτεκτονική αυτοκωδικοποίησης:
Ερώτηση 1: Με βάση τη μέθοδο στοχαστικής κλίσης κάθοδος, η χρήση του αλγόριθμου οπίσθιας διάδοσης για την εκπαίδευση του αυτόματου κωδικοποιητή απαιτεί ένα ή περισσότερα στρώματα μοντέλου καναλιού που διαφοροποιούνται για να συνδέσουν το βαθύ νευρικό στρώμα του πομπού και το βαθύ νευρικό στρώμα του δέκτη. Δεδομένου ότι το πραγματικό κανάλι πρέπει να περιέχει πολλά μη γραμμικά στοιχεία (όπως ψηφιακή ή αναλογική προπαραμόρφωση και μετατροπή) και περιλαμβάνει μη διαφοροποιήσιμα στάδια όπως upsampling και downsampling, το μοντέλο που εκπαιδεύεται από το βαθύ νευρικό στρώμα του πομποδέκτη βασίζεται μάλλον στο κατασκευασμένο κανάλι παρά αληθινό κανάλι. Σε σενάρια πραγματικών καναλιών, το μοντέλο που λαμβάνεται με αυτόν τον τρόπο μπορεί να προκαλέσει απώλειες απόδοσης κατά τη φάση εξαγωγής συμπερασμάτων.

Ερώτηση 2: Όλα τα κρυφά στρώματα ή τα ενδιάμεσα στρώματα εκπαιδεύονται με βάση την οπίσθια πιθανότητα του σήματος εισόδου. Στον παγκόσμιο πομποδέκτη αυτόματου κωδικοποιητή, το πρώτο στρώμα του βαθύ νευρικού στρώματος του δέκτη είναι ένα ενδιάμεσο στρώμα του οποίου το σήμα εισόδου είναι ευαίσθητο στην παραμόρφωση του τρέχοντος καναλιού. Αυτό το φαινόμενο διαπερνά αναπόφευκτα όλα τα βαθιά νευρικά στρώματα του δέκτη. Εάν το κανάλι αλλάξει σε βαθμό που υπερβαίνει τις προσδοκίες εκπαίδευσης, θα προκαλέσει αποτυχία του δέκτη κατά τη φάση εξαγωγής συμπερασμάτων.

Πρόβλημα 3: Υπάρχει έλλειψη ερμηνευσιμότητας μεταξύ των νευρικών στρωμάτων και είναι αδύνατο να γνωρίζουμε ποιοι νευρώνες και ποιες συνδέσεις μεταξύ νευρικών στρωμάτων θα επηρεάσουν αποτελεσματικά την τελική ακρίβεια εκμάθησης. Οι Goodfellow et al έδωσαν το παράδειγμα ενός ταξινομητή βαθιών νευρωνικών δικτύων που, αν και είναι καλά εκπαιδευμένος με μη θορυβώδεις εικόνες, μπορεί να ταξινομήσει εσφαλμένα τις θορυβώδεις εικόνες panda ως gibbons. Αυτό το παράδειγμα δείχνει ότι ο ταξινομητής που βασίζεται σε βαθιά νευρωνικά δίκτυα βασίζεται σε μεγάλο βαθμό σε ορισμένα "κρίσιμα μονοπάτια" (αναφερόμενοι σε ορισμένα pixel στην εικόνα του panda, γνωστά και ως "τοπικά χαρακτηριστικά") όταν λαμβάνει την τελική απόφαση. Εάν η κρίσιμη διαδρομή είναι άθικτη, θα γίνει σωστή ταξινόμηση εάν η κρίσιμη διαδρομή διαταραχθεί, θα γίνει λανθασμένη ταξινόμηση. Ταυτόχρονα, αυτό το είδος λανθασμένης ταξινόμησης που προκαλείται από το θόρυβο είναι μόνο μια περιστασιακή κατάσταση με την παρουσία πρόσθετου τυχαίου θορύβου, που δείχνει ότι το βαθύ νευρωνικό δίκτυο βασίζεται στην υπόθεση ότι η «κρίσιμη διαδρομή» επεξεργάζεται το κανάλι θορύβου άθικτος. Τα βαθιά νευρωνικά δίκτυα είναι επιρρεπή σε πρόσθετο τυχαίο θόρυβο, ο οποίος είναι σχεδόν μοιραίος για την εφαρμογή τους στο σχεδιασμό ασύρματων πομποδέκτη.

Η ουσία αυτών των τριών προβλημάτων μπορεί να αποδοθεί στο ίδιο βασικό πρόβλημα, δηλαδή, η απόδοση γενίκευσης των βαθιάς νευρωνικών δικτύων είναι πολύ κακή όταν αντιμετωπίζουμε τυχαίες αλλαγές στα ασύρματα κανάλια. Κανένα μοντέλο (ακόμα και ένα πολύ ανώτερο μοντέλο καναλιού) δεν μπορεί να συλλάβει πλήρως όλα τα πιθανά σενάρια διάδοσης ραδιοφώνου, επομένως η επεξεργασία δειγμάτων εκτός διανομής (OOD) ή ακραίων τιμών είναι αυτό που πρέπει πάντα να αντιμετωπίζουν οι αυτόματες κωδικοποιητές.
Για να γίνουν τα πράγματα χειρότερα, οι υπάρχουσες λύσεις σε αυτά τα προβλήματα εξακολουθούν να αντιμετωπίζουν πολλά εμπόδια, επειδή οι προτεινόμενες λύσεις πρέπει να ανταποκρίνονται στις πρακτικές απαιτήσεις χαμηλής κατανάλωσης ενέργειας, χαμηλής καθυστέρησης και χαμηλής επιβάρυνσης για εξοπλισμό και υποδομή ασύρματης επικοινωνίας. Από τη μια πλευρά, σε ένα δυναμικό περιβάλλον, το κόστος συσσώρευσης, βελτίωσης και επανεκπαίδευσης του ίδιου του πομποδέκτη αυτοκωδικοποιητή είναι πολύ υψηλό, από την άλλη πλευρά, η ίδια η διαδικασία συσσώρευσης, ενίσχυσης και επανεκπαίδευσης παραβιάζει επίσης το "βαθύ νευρικό δίκτυο". Η στρατηγική "Μια φορά για Όλο" - δηλαδή, η άπαξ μάθηση και η αποτελεσματικότητα μακροπρόθεσμα, δεν μπορεί να καλύψει τις πραγματικές ανάγκες και τις απαιτήσεις κατανάλωσης ενέργειας.

Σε ασύρματα σενάρια, οι ακραίες τιμές προκαλούνται συχνά από τυχαίες αλλαγές στο κανάλι. Κατά τη φάση συμπερασμάτων, εάν το κανάλι αλλάζει και αποκλίνει από το μοντέλο καναλιού που χρησιμοποιείται στη φάση εκπαίδευσης, το πρόβλημα των ακραίων τιμών είναι ιδιαίτερα εμφανές. Καθώς προχωρά ο συλλογισμός, θα εμφανιστούν περισσότερα ακραία σημεία, τα οποία θα επηρεάσουν το σχήμα κατανομής του λαμβανόμενου σήματος ο Bengio αποδίδει την κακή απόδοση γενίκευσης της βαθιάς μάθησης. Υπάρχουν επί του παρόντος ορισμένες λύσεις, όπως πρόσθετη εκπαίδευση, συμπεριλαμβανομένης της εκπαίδευσης μεταφοράς, των επαναλαμβανόμενων δικτύων που βασίζονται στην προσοχή ή της ενισχυτικής μάθησης. Ωστόσο, αντιμετωπίζοντας τις απαιτήσεις χαμηλής κατανάλωσης ενέργειας, χαμηλής καθυστέρησης και χαμηλής επιβάρυνσης ελέγχου στις μελλοντικές ασύρματες επικοινωνίες, αυτές οι λύσεις έχουν καταστεί μη πρακτικές και στερούνται σκοπιμότητας.

Όσον αφορά τη μέθοδο MPA που προτείνεται στο άρθρο, το άρθρο αναλύει επίσης τις ιδέες λύσης, εστιάζοντας στα μέρη που έχω σημειώσει με μαύρο παρακάτω:
"Πρώτον, για να επιτευχθεί διαφοροποίηση, το μοντέλο καναλιού πρέπει να απλοποιηθεί, αλλά αυτή η απλοποίηση βλάπτει την απόδοση του πομποδέκτη αυτόματου κωδικοποιητή. Ο λόγος για τη ζημιά στην απόδοση είναι ότι το μοντέλο καναλιού που χρησιμοποιείται για την εκπαίδευση του αυτόματου κωδικοποιητή είναι ένα απλοποιημένο μοντέλο, αντί Το πραγματικό μοντέλο, δηλαδή, υπάρχει μια μετατόπιση μεταξύ του απλοποιημένου καναλιού που χρησιμοποιείται στη φάση της κατάρτισης και του πραγματικού καναλιού που υποβάλλεται σε επεξεργασία στη φάση συμπερασμάτων είναι δύο λύσεις για τον μετριασμό αυτής της υποβάθμισης της απόδοσης. Η πρώτη είναι η χρήση ενισχυτικής μάθησης για τη συνεχή καταγραφή της κατάστασης του καναλιού και η συνεχής εκπαίδευση του DNN πολιτικής ή/και του DNN αξιολόγησης. Ωστόσο, όσον αφορά την πολυπλοκότητα των διαστάσεων, η ενισχυτική μάθηση είναι πολύ περίπλοκη για ασύρματα συστήματα, επειδή οι διαστάσεις που επεξεργάζονται από την ενισχυτική μάθηση είναι στην πραγματικότητα πολύ μεγαλύτερες από το AlphaGo. Επομένως, ο μηχανισμός προσαρμογής που βασίζεται στην ενισχυτική μάθηση δεν είναι εφικτός. Το δεύτερο είναι να χρησιμοποιήσετε το Generative Adversary Network (GAN) για να μάθετε όσο το δυνατόν περισσότερα σενάρια καναλιών σε ένα μοντέλο μεγάλου βαθιού νευρωνικού δικτύου.Ωστόσο, αυτή είναι μια εμπειρική μέθοδος και δεν μπορεί να αποδειχθεί ότι η μέθοδος μπορεί να καλύψει όλα τα σενάρια καναλιών.。

Χωρίς να ληφθούν υπόψη τα παραπάνω ζητήματα, οι αυτόματες κωδικοποιητές με MPA ακολουθούν διαφορετική τεχνική διαδρομή. Στη φάση εξαγωγής συμπερασμάτων, το MPA θα προσαρμόσει τους συντελεστές του επιπέδου μείωσης διαστάσεων στη συνάρτηση μέτρησης του τρέχοντος καναλιού για κάθε μετάδοση δεδομένων. Επομένως, η προσαρμοστική εξαγωγή συμπερασμάτων θα χρησιμοποιήσει ένα μοντέλο χονδροειδούς καναλιού στη φάση εκπαίδευσης, το οποίο ονομάζουμε "χονδρική μάθηση". Εάν η αδρή εκμάθηση προσομοιώνει το ίδιο ή παρόμοιο μοντέλο καναλιού τόσο για τα στάδια εκπαίδευσης όσο και για τα στάδια συμπερασμάτων, είναι δύσκολο να αποδειχθεί το πλεονέκτημα της χονδρικής μάθησης, αλλά αυτό το πλεονέκτημα μπορεί να αποδειχθεί σε πραγματικές δοκιμές πεδίου.

Δεύτερον, οι αυτόματες κωδικοποιητές με MPA μπορούν να λειτουργήσουν από κοινού με μοντέλα καναλιών που βασίζονται σε δίκτυα αντιπάλου που δημιουργούνται. Από την εμπειρία, οι πραγματικές συνθήκες των περισσότερων καναλιών εξαρτώνται από την τοποθεσία του χρήστη και την περιβαλλοντική τοπολογία, όπως πολυώροφα κτίρια, λόφους, δρόμους κ.λπ. Οι παραπομπές προτάθηκαν με τη χρήση δικτύων αντίπαλης παραγωγής υπό όρους για τη μοντελοποίηση άγνωστων καναλιών και πέτυχαν καλή απόδοση.Μπορούμε να χρησιμοποιήσουμε αυτή τη μέθοδο για να δημιουργήσουμε ένα μοντέλο καναλιού για να παρέχουμε καλή υποστήριξη για τη φάση εκπαίδευσης。

Κατά τη φάση συμπερασμάτων, συνιστούμε να βασίζεστε σε εκτιμήσεις καναλιών από πιλότους, ανάδραση μέτρησης καναλιού ή αμοιβαιότητα καναλιού για να λάβετε τις πιο πρόσφατες συνθήκες καναλιού. Είναι γνωστό ότι το MPA επωφελείται επίσης από την αραιότητα και είναι καλύτερα σε θέση να ανέχεται τις μετατοπίσεις και τις μετατοπίσεις (γι' αυτό οι αποκωδικοποιητές LDPC μπορούν να λειτουργήσουν αποτελεσματικά). Από αυτή την άποψη, δεν υπάρχει ανάγκη να εκτελεστεί μέτρηση καναλιού πλήρους διαστάσεων, μόνο μέρος των διαστάσεων πρέπει να μετρηθεί. Επιπλέον, τα υπολείμματα μπορούν να αντιμετωπιστούν λαμβάνοντας βαθιά νευρικά στρώματα με υψηλότερη ανοχή σφαλμάτων. Δεδομένου ότι το στρώμα μείωσης διαστάσεων έχει προσαρμοστεί κατά τα στάδια συμπερασμάτων και εκπαίδευσης, μπορούμε να χρησιμοποιήσουμε το στρώμα μείωσης διαστάσεων ως τον προκωδικοποιητή ολόκληρης της αλυσίδας μετάδοσης, επομένως δεν χρειάζεται να επανεκπαιδεύσουμε το βαθύ νευρικό στρώμα. Αυτό όχι μόνο αποφέρει οφέλη εξοικονόμησης ενέργειας, αλλά είναι επίσης ένα τεράστιο πλεονέκτημα για την επέκταση της διάρκειας ζωής της μπαταρίας των συσκευών χρήστη. "

2. Γρήγορη ανάγνωση άρθρων

Στην πραγματικότητα, προσωπικά εξακολουθώ να είμαι δύσπιστος σχετικά με τη μέθοδο που προτείνεται στο άρθρο. Ας ρίξουμε μια σύντομη ματιά στη μέθοδο του άρθρου.

Περίληψη άρθρου

Το άρθρο προτείνει έναν πομποδέκτη αυτόματου κωδικοποιητή που βασίζεται στον αλγόριθμο διέλευσης μηνυμάτων (MPA) για να λύσει το πρόβλημα της κακής απόδοσης γενίκευσης των παραδοσιακών αυτόματων κωδικοποιητών όταν αντιμετωπίζουμε τυχαίες αλλαγές καναλιών. Με την εισαγωγή του MPA στον αυτόματο κωδικοποιητή, ο συγγραφέας εφαρμόζει έναν ευέλικτο πομποδέκτη που μπορεί να παρέχει καλύτερη απόδοση γενίκευσης σε διαφορετικά σενάρια χρήσης. Αυτή η προσέγγιση επιτρέπει τη χονδρική μάθηση στη φάση της εκπαίδευσης και την προσαρμοστική εξαγωγή συμπερασμάτων στη φάση του συμπεράσματος.

Τα κύρια προβλήματα επιλύθηκαν

1. Ζητήματα απόδοσης γενίκευσης: Όταν οι παραδοσιακοί πομποδέκτες με αυτόματο κωδικοποιητή αντιμετωπίζουν τυχαίες αλλαγές καναλιών, καθώς οι νευρώνες σταθεροποιούνται μόλις ολοκληρωθεί η εκπαίδευση, η απόδοση γενίκευσης είναι κακή.
2. Απόκλιση μεταξύ μοντέλου και πραγματικού καναλιού: Η χρήση αυτοκωδικοποιητών που έχουν εκπαιδευτεί με βάση τη μέθοδο στοχαστικής κλίσης καθόδου και τον αλγόριθμο οπίσθιας διάδοσης βασίζεται στο κατασκευασμένο μοντέλο καναλιού και όχι στο πραγματικό κανάλι, το οποίο μπορεί να οδηγήσει σε απώλεια απόδοσης στο στάδιο συμπερασμάτων.
3. Προσαρμοστικότητα σε αλλαγές καναλιών: Ο παγκόσμιος πομποδέκτης Autoencoder ενδέχεται να προκαλέσει αστοχία του δέκτη όταν οι αλλαγές καναλιού υπερβαίνουν τις προσδοκίες εκπαίδευσης.
4. Επεξεργασία δειγμάτων εκτός διανομής: Τυχαίες αλλαγές στα ασύρματα κανάλια οδηγούν σε δείγματα ή ακραίες τιμές εκτός διανομής και οι υπάρχουσες λύσεις είναι δύσκολο να καλύψουν τη χαμηλή κατανάλωση ενέργειας, τη χαμηλή καθυστέρηση και τις χαμηλές απαιτήσεις γενικού εξοπλισμού ασύρματης επικοινωνίας.

κύρια μέθοδος

• Αλγόριθμος διέλευσης μηνυμάτων (MPA): Εισαγωγή της λειτουργίας MPA για την επίτευξη προσαρμοστικής προσαρμογής μέσω του επιπέδου προκωδικοποιητή για τη βελτίωση της απόδοσης γενίκευσης του πομποδέκτη όταν το κανάλι αλλάζει δυναμικά.
• Στρώμα μείωσης διαστάσεων: Εισαγάγετε το επίπεδο μείωσης διαστάσεων στο πλαίσιο του αυτόματου κωδικοποιητή, εκτελέστε γραμμικό μετασχηματισμό μείωσης διαστάσεων και προσαρμόστε επαναλαμβανόμενα τους συντελεστές του επιπέδου μείωσης διαστάσεων μέσω του MPA.
• Αυτόνομη επανάληψη MPA: Χρησιμοποιήστε την επανάληψη προς τα εμπρός (παρόμοια με τη μηχανή μη γραμμικού διανύσματος υποστήριξης) και την επανάληψη προς τα πίσω (παρόμοια με το βαθύ νευρωνικό δίκτυο προσοχής) για να προσαρμόσετε ανεξάρτητα το επίπεδο μείωσης διαστάσεων, χωρίς να βασίζεστε στην πίσω διάδοση του αρχικού αυτόματου κωδικοποιητή.
• παγκόσμια συνδυασμένη μάθηση: Μέσω του σχεδίου εκπαίδευσης σειράς, το επίπεδο μείωσης διαστάσεων και το βαθύ νευρικό στρώμα εκπαιδεύονται χωριστά για να επιτύχουν πρόχειρη μάθηση και προσαρμοστικό συλλογισμό.
• Χονδρική μάθηση και προσαρμοστικός συλλογισμός: Χρησιμοποιείται ένα απλοποιημένο μοντέλο καναλιού για πρόχειρη μάθηση στη φάση εκπαίδευσης, ενώ το επίπεδο μείωσης διαστάσεων προσαρμόζεται μέσω του MPA στη φάση συμπερασμάτων για να προσαρμοστεί στην τρέχουσα κατάσταση μέτρησης του καναλιού.

Μέσω αυτών των μεθόδων, το άρθρο στοχεύει να βελτιώσει την απόδοση και την ικανότητα γενίκευσης των πομποδεκτών με αυτόματο κωδικοποιητή υπό τυχαίες αλλαγές καναλιών.

Για τη μέθοδο MPA του άρθρου, μπορείτε να δείτε μια επισκόπηση κοιτάζοντας τα Σχήματα 16 και 17.
Το κύριο πράγμα είναι να προσθέσετε το επίπεδο MPA για να ολοκληρώσετε έναν μετασχηματισμό διαστάσεων μεταξύ του διανύσματος μετάδοσης και του καναλιού. Στη συνέχεια, κατά τη διάρκεια της προπόνησης, το επίπεδο MPA είναι πρώτα παγωμένο. Το επίπεδο MPA μπορεί να θεωρηθεί ως προκωδικοποίηση για μετάδοση. Οι συγκεκριμένες διαστάσεις μπορούν να ληφθούν μετρώντας το κανάλι. Η εκπαίδευση του επιπέδου MPA βασίζεται στην προσοχή μεταξύ του λαμβανόμενου σήματος και του μεταδιδόμενου φορέα.Το βαθύ νευρωνικό δίκτυο προσοχής είναι μια αποτελεσματική μέθοδος για τη μέτρηση της ομοιότητας δύο χαρακτηριστικών μεταξύ διαφορετικών διαστάσεων . Θα πρέπει να σημειωθεί ότι ο αριθμός των προσοχών είναι μικρότερος από τον αριθμό των λαμβανόμενων σημάτων, δηλαδή L