Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

εβδομάδα 47 CF-LT

Περίληψη

Αυτή την εβδομάδα διάβασα μια εργασία με τίτλο Ερμηνευτικό υβριδικό μοντέλο μετασχηματιστή CEEMDAN-FE-LSTM για την πρόβλεψη συνολικών συγκεντρώσεων φωσφόρου στα επιφανειακά ύδατα. Αυτή η εργασία προτείνει ένα υβριδικό μοντέλο για την πρόβλεψη TP. Αυτή η εργασία προτείνει ένα υβριδικό μοντέλο για την πρόβλεψη TP, δηλαδή το μοντέλο CF-LT. Το μοντέλο συνδυάζει καινοτόμα την πλήρως ενσωματωμένη εμπειρική αποσύνθεση (EMD) με προσαρμοστική επεξεργασία θορύβου, ανάλυση ασαφούς εντροπίας, δίκτυο βραχυπρόθεσμης μνήμης (LSTM) και τεχνολογία Transformer. Με την εισαγωγή της τεχνολογίας ανακατασκευής διαίρεσης συχνότητας δεδομένων, αυτό το μοντέλο επιλύει αποτελεσματικά τα προβλήματα υπερβολικής προσαρμογής και υποπροσαρμογής που είναι πιθανό να προκύψουν όταν τα παραδοσιακά μοντέλα μηχανικής εκμάθησης ασχολούνται με δεδομένα υψηλών διαστάσεων. Ταυτόχρονα, η εφαρμογή του μηχανισμού προσοχής επιτρέπει στο μοντέλο CF-LT να ξεπεράσει τους περιορισμούς άλλων μοντέλων που είναι δύσκολο να δημιουργηθούν μακροπρόθεσμες εξαρτήσεις μεταξύ των δεδομένων όταν γίνονται μακροπρόθεσμες προβλέψεις. Τα αποτελέσματα πρόβλεψης δείχνουν ότι το μοντέλο CF-LT έφτασε σε συντελεστή προσδιορισμού (R2) από 0,37 έως 0,87 στο σύνολο δεδομένων δοκιμής, που ήταν σημαντική βελτίωση 0,05 έως 0,17 (δηλαδή, 6% έως 85%) σε σύγκριση με τον έλεγχο μοντέλο. Επιπλέον, το μοντέλο CF-LT έδειξε επίσης την καλύτερη απόδοση πρόβλεψης αιχμής.

Αφηρημένη

Η εβδομαδιαία εφημερίδα αυτής της εβδομάδας αποκωδικοποιεί την εφημερίδα με τίτλο Ερμηνευτικό υβριδικό μοντέλο μετασχηματιστή CEEMDAN-FE-LSTM για την πρόβλεψη συνολικών συγκεντρώσεων φωσφόρου στα επιφανειακά νερά. Αυτή η εργασία εισάγει ένα υβριδικό μοντέλο, το CF-LT, ειδικά για την πρόβλεψη TP. Το μοντέλο ενσωματώνει καινοτόμα το Complete Ensemble Empirical Mode Decomposition (EMD) με προσαρμοστική επεξεργασία θορύβου, ανάλυση ασαφούς εντροπίας, δίκτυα Long Short-Term Memory (LSTM) και τεχνολογία Transformer. Με την εισαγωγή της διαίρεσης και της ανακατασκευής συχνότητας δεδομένων, το CF-LT αντιμετωπίζει αποτελεσματικά τα ζητήματα της υπερπροσαρμογής και της υποπροσαρμογής που αντιμετωπίζουν συχνά τα παραδοσιακά μοντέλα μηχανικής εκμάθησης όταν ασχολούνται με δεδομένα υψηλών διαστάσεων. Επιπλέον, η εφαρμογή του μηχανισμού προσοχής επιτρέπει στο CF-LT να ξεπεράσει τους περιορισμούς άλλων μοντέλων για τη δημιουργία μακροπρόθεσμων εξαρτήσεων μεταξύ σημείων δεδομένων κατά τη διάρκεια μακροπρόθεσμων προβλέψεων. Τα αποτελέσματα πρόβλεψης δείχνουν ότι το CF-LT επιτυγχάνει έναν συντελεστή απόφασης (R2) που κυμαίνεται από 0,37 έως 0,87 στα σύνολα δεδομένων δοκιμής, που αντιπροσωπεύει σημαντική βελτίωση από 0,05 έως 0,17 (ή 6% έως 85%) σε σύγκριση με τα μοντέλα ελέγχου. Επιπλέον, το CF-LT παρέχει την καλύτερη απόδοση πρόβλεψης αιχμής.

1. Ερώτηση

Ερμηνεύσιμο υβριδικό μοντέλο μετασχηματιστή CEEMDAN-FE-LSTM για την πρόβλεψη συνολικών συγκεντρώσεων φωσφόρου στα επιφανειακά ύδατα

Συγγραφέας: Jiefu Yao, Shuai Chen, Xiaohong Ruan

ελευθέρωση:Journal of Hydrology Τόμος 629, Φεβρουάριος 2024, 130609

链接：https://www.sciencedirect.com/science/article/pii/S0022169424000039?via%3Dihub

2. Περίληψη

Αυτή η εργασία προτείνει ένα υβριδικό μοντέλο για την πρόβλεψη TP. Αυτό το μοντέλο (CF-LT) συνδυάζει πλήρως ενσωματωμένη Εμπειρική Αποσύνθεση Τρόπου (EMD) με προσαρμοστικό θόρυβο, ασαφή εντροπία, μακροπρόθεσμη μνήμη και μετασχηματιστή.Ανακατασκευή διαίρεσης συχνότητας δεδομένωνΗ εισαγωγή του επιλύει αποτελεσματικά τα προβλήματα υπερβολικής προσαρμογής και υποπροσαρμογής που εμφανίστηκαν όταν προηγούμενα μοντέλα μηχανικής εκμάθησης αντιμετώπιζαν δεδομένα υψηλών διαστάσεων.μηχανισμός προσοχής Αυτό ξεπερνά το πρόβλημα ότι αυτά τα μοντέλα δεν μπορούν να δημιουργήσουν μακροπρόθεσμες εξαρτήσεις μεταξύ των δεδομένων και να κάνουν μακροπρόθεσμες προβλέψεις. Τα αποτελέσματα πρόβλεψης δείχνουν ότι το μοντέλο CF-LT επιτυγχάνει συντελεστή προσδιορισμού (R2) 0,37-0,87 στο σύνολο δεδομένων δοκιμής, ο οποίος είναι 0,05-0,17 (6%-85%) υψηλότερος από το μοντέλο ελέγχου. Επιπλέον, το μοντέλο CF-LT παρείχε την καλύτερη πρόβλεψη κορυφής.

3. Δομή δικτύου

3.1 CEEMDAN (Εμπειρική αποσύνθεση συνόλου θορύβου)

Ως προηγμένη μέθοδος ανάλυσης χρονοσειρών, το CEEMDAN μειώνει αποτελεσματικά το πρόβλημα αλιοποίησης τρόπου που υπάρχει στην παραδοσιακή EMD προσθέτοντας προσαρμοστικό θόρυβο στη διαδικασία αποσύνθεσης εμπειρικού τρόπου λειτουργίας (EMD). Μπορεί να αποσυνθέσει το αρχικό σήμα σε μια σειρά από εγγενείς λειτουργίες λειτουργίας (IMFs). Σε αυτή τη μελέτη, το CEEMDAN χρησιμοποιήθηκε για την επεξεργασία ημερήσιων δεδομένων ποιότητας νερού από τρεις σταθμούς παρακολούθησης στη λίμνη Tai, διαχωρίζοντας τη συγκέντρωση ολικού φωσφόρου και άλλες παραμέτρους ποιότητας του νερού όπως θερμοκρασία νερού, pH, διαλυμένο οξυγόνο κ.λπ. σε σήματα σε διαφορετικές ζώνες συχνοτήτων.

Αλγόριθμος S1: Ολοκληρωμένη αποσύνθεση εμπειρικής λειτουργίας συνόλου με προσαρμοστικό θόρυβο (CEEMDAN)

1. Ορισμός τελεστή ${\mu \iota }_{\kappa }(\sim )$, αυτός ο τελεστής δημιουργεί τον αλγόριθμο EMD Kth μοντέλο.$v_t^{{\rm E}\gamma ώ}$Ρύθμιση σε Gaussian white noise,$ϵ$είναι ο συντελεστής λευκού θορύβου,${\rm E}\gamma ώ$ Ευρετήριο για την προσθήκη λευκού θορύβου. Το EMD χρησιμοποιείται για την αποσύνθεση των δεδομένων και μετά την προσθήκη του λευκού θορύβου Gauss στο αρχικό σήμα y(t) σύμφωνα με την εξίσωση (S1), το στοιχείο πρώτης εσωτερικής λειτουργίας λειτουργίας (IMF) ($\overline{{\rm E}\gamma ώMF1}$ ). Ο πρώτος τρόπος λειτουργίας υπολογίζεται χρησιμοποιώντας την εξίσωση (S2).

$$y^{{\rm E}\gamma ώ}(t)=y(t)+{ϵ}_0{v}^{{\rm E}\gamma ώ}(t){\rm E}\gamma ώ=1,2,\dots ,n\text{\hspace{1em}(S1)}$$

$${\text{ΔΝΤ 1}}_{{\rm E}\gamma ώ}={\mu \iota }_0(y^{{\rm E}\gamma ώ}(t))+r_1^{{\rm E}\gamma ώ}\overline{\text{ΔΝΤ 1}}=\frac{1}{n}{\text{ΔΝΤ 1}}_{{\rm E}\gamma ώ}\text{\hspace{1em}(S2)}$$

2. Υπολογίστε τα υπολείμματα της πρώτης αποσύνθεσης σήματος χρησιμοποιώντας την Εξίσωση (S3). Προσθέστε νέο λευκό θόρυβο σύμφωνα με την εξίσωση (S4) και υπολογίστε τη δεύτερη συνιστώσα IMF (S4).

$$r_1=y^{{\rm E}\gamma ώ}(t)-\overline{\text{ΔΝΤ 1}}\text{\hspace{1em}(S3)}$$

$$\overline{\text{ΔΝΤ2}}=\frac{1}{n}\sum _{{\rm E}\gamma ώ=1}^n{\mu \iota }_1(r_1+{ϵ}_1{\mu \iota }_1(v^{{\rm E}\gamma ώ}(t)))\text{\hspace{1em}(S4)}$$

3. Επαναλάβετε τα βήματα 1 και 2 έως ότου το υπόλοιπο r_k είναι μονότονη συνάρτηση. Τέλος, εφαρμόστε το EMD για να αποκτήσετε τη σειρά K−1th IMF, η οποία είναι η αρχική σύνθεση σειράς, όπως:

$$y(t)=\sum _{\mu \epsilon \gamma ά\lambda o=1}^{\kappa -1}\overline{\text{ΔΝΤ 1}}+r_{\kappa }\text{\hspace{1em}(S5)}$$

3.2 Δομή μοντέλου CF-LT

Για το τμήμα CEEMDAN-FE, πρώτα διαιρούμε το αρχικό σύνολο δεδομένων σε σύνολα δεδομένων εκπαίδευσης και δοκιμής και, στη συνέχεια, εφαρμόζουμε το CEEMDAN για να αποσυνθέσουμε κάθε χαρακτηριστικό στα δύο σύνολα δεδομένων σε πολλαπλές εγγενείς συναρτήσεις λειτουργίας (IMF). Σύμφωνα με την εγγύτητα των τιμών FE κάθε ΔΝΤ, ανακατασκευάζονται σε στοιχεία υψηλής συχνότητας (IMFH), ενδιάμεσης συχνότητας (IMFM), χαμηλής συχνότητας (IMFL) και όρου τάσης (IMFT), τα οποία αντικατοπτρίζουν διαφορετικές πτυχές του ΔΝΤ. .

Για το τμήμα LSTM-Transformer, στον κωδικοποιητή και στον αποκωδικοποιητή, το κρυφό στρώμα του LSTM αντικαθίσταται από κωδικοποίηση θέσης μετασχηματιστή για να εδραιωθεί η χρονική εξάρτηση μεταξύ των δεδομένων εισόδου. Η συγκεκριμένη διαδικασία υπολογισμού έχει ως εξής (Εικόνα 2α).

1. Η είσοδος μοντέλου αποτελείται από δύο εισόδους χαρακτηριστικών. Σε αυτή τη μελέτη, το στρώμα κωδικοποιητή περιλαμβάνει θερμοκρασία νερού (WT), pH (PH), διαλυμένο οξυγόνο (DO), χημική ζήτηση οξυγόνου (COD), ηλεκτρική αγωγιμότητα (EC), θολότητα (TU), άζωτο αμμωνίας (NH3-N) , και δεδομένα ολικού αζώτου (TN) σε μορφή χρονοσειρών που ελήφθησαν 7 ημέρες πριν από το πρώτο χρονικό σημείο πρόβλεψης. Το στρώμα αποκωδικοποιητή περιέχει τις χρονοσειρές TP για τις 7 ημέρες που προηγούνται του πρώτου χρονικού σημείου πρόβλεψης.
2. Αφού περάσουν από το LSTM και το γραμμικό επίπεδο, τα δύο σύνολα δεδομένων χαρακτηριστικών τροφοδοτούνται στο επίπεδο κωδικοποιητή και στο στρώμα αποκωδικοποιητή αντίστοιχα.
3. Δύο υποστρώματα σχηματίζουν το στρώμα κωδικοποιητή. Το επίπεδο προσοχής πολλαπλών κεφαλών υπολογίζει τον πίνακα προσοχής των χαρακτηριστικών εισόδου και, στη συνέχεια, το επίπεδο τροφοδοσίας προς τα εμπρός αλλάζει τη διάσταση δεδομένων. Τέλος, τα δεδομένα τροφοδοτούνται στο επόμενο επίπεδο κωδικοποιητή ή αποκωδικοποιητή.
4. Τρία υποστρώματα αποτελούν το στρώμα αποκωδικοποιητή. Αφού το καλυμμένο επίπεδο προσοχής πολλαπλών κεφαλών υπολογίσει τη μήτρα προσοχής των χαρακτηριστικών εισόδου, το επίπεδο προσοχής πολλαπλών κεφαλών δημιουργεί συνδέσεις προσοχής με βάση την έξοδο του επιπέδου του κωδικοποιητή. Το στρώμα τροφοδοσίας το περνά στο επόμενο στρώμα αποκωδικοποιητή ή γραμμικό στρώμα για να πάρει την τελική έξοδο του μοντέλου.

3.3 ΣΧΗΜΑ

Το SHAP είναι μια μέθοδος θεωρίας παιγνίων για την ερμηνεία της εξόδου οποιουδήποτε μοντέλου ML.Για να προσδιορίσετε την επίδραση των χαρακτηριστικών εισόδου στην έξοδο του μοντέλου, τα χαρακτηριστικά εισόδου$z=[z1,...,z\Pi ]$Σχετίζεται με το εκπαιδευμένο μοντέλο βαθιάς μάθησης F.
$$\phi ά=\phi ά(z)={\varphi }_0+\sum _{{\rm E}\gamma ώ=1}^{{\rm M}}{\varphi }_{{\rm E}\gamma ώ}{z}_{{\rm E}\gamma ώ}\text{\hspace{1em}(12)}$$
${\phi }_{{\rm E}\gamma ώ}\in R$Υποδεικνύει τη συνεισφορά κάθε χαρακτηριστικού στο μοντέλο, η οποία δίνεται από τον ακόλουθο τύπο:
$${\varphi }_{{\rm E}\gamma ώ}(\phi ά,{\rm X})=\sum _{z\le {\rm X}}\frac{|z|!({\rm M}-|z|-1)!}{{\rm M}!}[\phi ά(z)-\phi ά(z/{\rm E}\gamma ώ)]\text{\hspace{1em}(13)}$$

4. Ερμηνεία λογοτεχνίας

4.1 Εισαγωγή

Η μελέτη προτείνει ένα νέο μοντέλο για την πρόβλεψη των συνολικών συγκεντρώσεων φωσφόρου. Το μοντέλο συνδυάζει τεχνολογίες CEEM DAN, FE, LSTM και Transformer και χρησιμοποιεί SHAP για να ερμηνεύσει την έξοδο του μοντέλου. Ο κύριος στόχος αυτής της μελέτης είναι να αξιολογήσει την απόδοση του προτεινόμενου μοντέλου CEEMDAN-FE-LSTM-Transformer (CF-LT) στην πρόβλεψη συγκέντρωσης TP στην είσοδο της λίμνης Tai και να εφαρμόσει το SHAP για να ερμηνεύσει την έξοδο του CF-LT μοντέλο. Αυτό θα πρέπει να αποκαλύψει τους βασικούς παράγοντες που επηρεάζουν τη συγκέντρωση ΤΡ στην περιοχή και τους μηχανισμούς απόκρισής τους.

Η αποσύνθεση δεδομένων υψηλών διαστάσεων μπορεί να παράγει μεγάλο αριθμό τροπικών στοιχείων. Για την επίλυση αυτού του προβλήματος, η Fuzzy Entropy (FE), μια αποτελεσματική μέθοδος για τον υπολογισμό της πολυπλοκότητας του χρόνου, μπορεί να συνδυαστεί με το CEEMDAN. Αυτός ο συνδυασμός αναδομεί αποτελεσματικά τα αποσυντιθέμενα υποσήματα CEEMDAN, μειώνοντας έτσι τον αριθμό των μοντέλων υποσυχνοτήτων.

Τα μοντέλα μετασχηματιστή LSTMT μπορούν να συλλάβουν σχέσεις μεταξύ μη γειτονικών χρονικών σημείων διατηρώντας παράλληλα τα χαρακτηριστικά χρονοσειρών των δεδομένων εισόδου.

Τα μοντέλα μετασχηματιστών χρησιμοποιούν μηχανισμούς προσοχής για τον εντοπισμό συσχετισμών μεταξύ δύο θέσεων σε ένα συγκεκριμένο πλαίσιο κατά τη διάρκεια της εκπαίδευσης. Αυτό επιτρέπει την αποτελεσματική απόκτηση σχετικών δεδομένων και μειώνει τον πλεονασμό πληροφοριών.

4.2 Σημεία καινοτομίας

Οι κύριες συνεισφορές αυτού του άρθρου είναι σε τέσσερις πτυχές:

1. Το προτεινόμενο μοντέλο συνδυάζει τροπική ανάλυση με μεθόδους βαθιάς μάθησης, χρησιμοποιεί ασαφή εντροπία για να μειώσει τον αντίκτυπο της τροπικής αποσύνθεσης στη χρονική πολυπλοκότητα και συνδυάζει το LSTM με τον μετασχηματιστή για να δημιουργήσει μακροπρόθεσμες και βραχυπρόθεσμες εξαρτήσεις στα δεδομένα.
2. Ένα υβριδικό μοντέλο που χρησιμοποιεί LSTM και Transformer θα χρησιμοποιηθεί για την πρόβλεψη της συνολικής TP φωσφόρου, κάτι που δεν έχει γίνει σε προηγούμενες μελέτες.
3. Τα αποτελέσματα πρόβλεψης δείχνουν ότι το μοντέλο CF-LT επιτυγχάνει συντελεστή προσδιορισμού (R2) 0,37-0,87 στο σύνολο δεδομένων δοκιμής, ο οποίος είναι 0,05-0,17 (6%-85%) υψηλότερος από το μοντέλο ελέγχου. Επιπλέον, το μοντέλο CF-LT παρείχε την καλύτερη πρόβλεψη κορυφής.

4.3 Πειραματική διαδικασία

σύνολο δεδομένων : Η λεκάνη της λίμνης Taihu βρίσκεται στον κάτω ρου του ποταμού Yangtze, σε έκταση 36.900 τετραγωνικών χιλιομέτρων, με πυκνό δίκτυο ποταμών και πολυάριθμες λίμνες. Η λίμνη Taihu είναι μια τυπική ρηχή λίμνη. Η λεκάνη έχει τα χαρακτηριστικά ενός υγρού βόρειου υποτροπικού κλίματος, με μέση ετήσια θερμοκρασία 15-17°C και μέση ετήσια βροχόπτωση 1181 mm. Αυτή η μελέτη χρησιμοποίησε δεδομένα παρακολούθησης της ποιότητας του νερού από το σταθμό Yaoxiangqiao, τον σταθμό Zhihugang και τον σταθμό Guanduqiao (Εικόνα S2). Αυτοί οι σταθμοί παρακολούθησης βρίσκονται στο Taihukou, ένα εθνικό βασικό τμήμα αξιολόγησης της ποιότητας του νερού. Τα δεδομένα προέρχονται από το Επαρχιακό Κέντρο Περιβαλλοντικής Παρακολούθησης του Jiangsu.

Κριτήρια αξιολόγησης : Η αξιολόγηση απόδοσης του μοντέλου χρησιμοποιεί διάφορους βασικούς δείκτες: συντελεστής προσδιορισμού (R²), μέσο τετραγωνικό σφάλμα (MSE) και μέσο απόλυτο ποσοστό σφάλματος (MAPE). Το R² μετρά τον βαθμό προσαρμογής μεταξύ της προβλεπόμενης τιμής του μοντέλου και της πραγματικής τιμής, δείχνει ότι το μοντέλο έχει ισχυρή ικανότητα πρόβλεψης. Το MAPE αντικατοπτρίζει το μέγεθος του σφάλματος πρόβλεψης από την άποψη του ποσοστού Η τιμή Lower σημαίνει πιο ακριβείς προβλέψεις.

Λεπτομέρειες υλοποίησης : Η πειραματική διαδικασία περιλαμβάνει προεπεξεργασία δεδομένων, εκπαίδευση μοντέλων και δοκιμή. Καθιερώνεται μια πλήρης πειραματική διαδικασία για την αξιολόγηση της απόδοσης του προτεινόμενου μοντέλου σε διαφορετικά σύνολα δεδομένων και χρονικά παράθυρα πρόβλεψης. Πρώτον, τα δεδομένα προεπεξεργάζονται με τη μέθοδο CEEMDAN-FE, η οποία αφαιρεί τις παρεμβολές πληροφοριών προσθέτοντας πλήρως ενσωματωμένη εμπειρική αποσύνθεση με προσαρμοστικό θόρυβο, εξάγει πληροφορίες πολλαπλής κλίμακας και χρησιμοποιεί ασαφή εντροπία για τη μείωση του αριθμού των υποσημάτων. Στη συνέχεια, τα επεξεργασμένα δεδομένα χωρίζονται σε σετ εκπαίδευσης και σετ δοκιμών σε αναλογίες 75% και 25%. Στη φάση εκπαίδευσης, το προεπεξεργασμένο σύνολο δεδομένων εκπαίδευσης εισάγεται στο μοντέλο LSTM-Transformer. Χρησιμοποιήστε backpropagation και Adam optimizer για να ενημερώσετε τα βάρη μοντέλων και χρησιμοποιήστε την αναζήτηση πλέγματος για να εντοπίσετε τις καλύτερες υπερπαραμέτρους της μονάδας LSTMTtransformer για να διασφαλίσετε την απόδοση του μοντέλου σε διαφορετικά χρονικά παράθυρα πρόβλεψης (7 ημέρες, 5 ημέρες, 3 ημέρες, 1 ημέρα).

Πειραματικά αποτελέσματα : Εφαρμόζοντας το καλύτερο μοντέλο εκπαίδευσης στο σύνολο δεδομένων δοκιμής, ο πίνακας συνοψίζει τις προβλέψεις συγκέντρωσης TP που δίνονται από τα μοντέλα CF-LT, LSTM, Transformer, CF-L και CF-T σε διαφορετικές τοποθεσίες και διαφορετικά χρονικά παράθυρα πρόβλεψης. Το προτεινόμενο μοντέλο CF-LT δίνει τα καλύτερα αποτελέσματα και για τις τρεις μετρήσεις αξιολόγησης. Όσον αφορά το R2, το μοντέλο CF-LT κυμαίνεται από 0,37 έως 0,87, ενώ τα επόμενα καλύτερα μοντέλα CF-L και CF-T είναι 0,32-0,84 και 0,35-0,86 αντίστοιχα. Αυτό δείχνει ότι ο συνδυασμός της μακροπρόθεσμης μνήμης του LSTM με τον μηχανισμό προσοχής του Transformer μπορεί να βελτιώσει την ακρίβεια πρόβλεψης. Συγκρίνοντας τα χειρότερα μοντέλα LSTM και Transformer με τα μοντέλα CF-L και CF-T, το MAPE κυμαίνεται από 8,94%-20,62% (LSTM) και 8,91%-18,73% (Transformer) έως 8,29%-19,56% (CF -L) και 7,82%-17,55% (CF-T). Αυτά τα αποτελέσματα καταδεικνύουν ότι η αποσύνθεση δεδομένων και η μοντελοποίηση διαίρεσης συχνότητας βελτιώνουν σημαντικά την ακρίβεια πρόβλεψης συλλαμβάνοντας περισσότερες πληροφορίες που κρύβονται στα αρχικά δεδομένα.

Πρόβλεψη παραγόντων που επηρεάζουν τη συγκέντρωση ΤΡ ολικού φωσφόρου：

Η μέση απόλυτη τιμή SHAP (MASV) χρησιμοποιείται για να ποσοτικοποιήσει τη συμβολή των χαρακτηριστικών εισόδου (WT, PH, DO, COD, EC, TU, TN, NH3-N, TP) στα αποτελέσματα πρόβλεψης TP μεγαλύτερος ο αντίκτυπος στα αποτελέσματα της πρόβλεψης του μοντέλου. Η έρευνα δείχνει ότι εκτός από την προηγούμενη σειρά συγκεντρώσεων TP, το ολικό άζωτο (TN) και η θολότητα (TU) είναι οι δύο κύριοι παράγοντες που επηρεάζουν την πρόβλεψη TP. Αυτό δείχνει ότι οι αλλαγές στο TP δεν επηρεάζονται μόνο άμεσα από τις ιστορικές συγκεντρώσεις, αλλά σχετίζονται επίσης στενά με τη δυναμική ανάπτυξης των φυκών που σχετίζεται με τις εκπομπές ρύπανσης από μη σημειακές πηγές και την αναλογία αζώτου-φωσφόρου στο υδάτινο σώμα. Ειδικότερα, η σημαντική συσχέτιση μεταξύ TN και TP υπογραμμίζει το αποτέλεσμα σύζευξης των δύο στον κύκλο των θρεπτικών συστατικών της λίμνης και υπογραμμίζει τη σημασία της εισαγωγής αζώτου από μη σημειακή πηγή για την πρόβλεψη συγκέντρωσης φωσφόρου.

Από αυτά τα αποτελέσματα μπορούν να γίνουν οι ακόλουθες παρατηρήσεις:

• Όσον αφορά τις μετρήσεις δικαιοσύνης, πολλά υπάρχοντα GNN έχουν κακή απόδοση έναντι των μοντέλων MLP και στα τρία σύνολα δεδομένων. Για παράδειγμα, στο σύνολο δεδομένων Pokec-z, η δημογραφική ισοτιμία του MLP είναι 32,64%, 50,46%, 66,53% και 58,72% χαμηλότερη από τα GAT, GCN, SGC και APPNP. Η υψηλότερη προκατάληψη πρόβλεψης προέρχεται από συναθροίσεις εντός των ίδιων ευαίσθητων κόμβων χαρακτηριστικών και τοπολογική προκατάληψη στα δεδομένα του γραφήματος.
• Το FMP επιτυγχάνει σταθερά τη χαμηλότερη προκατάληψη πρόβλεψης όσον αφορά την ισότητα του πληθυσμού και την ισότητα ευκαιριών σε όλα τα σύνολα δεδομένων. Συγκεκριμένα, το FMP μειώνει τη δημογραφική ισοτιμία κατά 49,69%, 56,86% και 5,97% σε σύγκριση με τη χαμηλότερη προκατάληψη μεταξύ όλων των βασικών γραμμών στα σύνολα δεδομένων Pokecz, Pokec-n και NBA. Ταυτόχρονα, το FMP επιτυγχάνει την καλύτερη ακρίβεια στο σύνολο δεδομένων NBA και φτάνει σε συγκρίσιμη ακρίβεια στα σύνολα δεδομένων Pokec-z και Pokec-n. Εν ολίγοις, το προτεινόμενο FMP μπορεί να μετριάσει αποτελεσματικά την προκατάληψη πρόβλεψης διατηρώντας παράλληλα την απόδοση πρόβλεψης.

Σύγκριση με την αντίθετη προκατάληψη και τακτοποίηση : Τυχαία διαίρεση 50%/25%/25% για σύνολα δεδομένων εκπαίδευσης, επικύρωσης και δοκιμής. Το σχήμα 2 δείχνει τις βέλτιστες καμπύλες Pareto για όλες τις μεθόδους, όπου το κάτω δεξιά γωνιακό σημείο αντιπροσωπεύει την ιδανική απόδοση (μεγαλύτερη ακρίβεια και χαμηλότερη απόκλιση πρόβλεψης).

5. Συμπέρασμα

Το υβριδικό μοντέλο CF-LT που προτείνεται σε αυτό το άρθρο συνδυάζει μονάδες CEEM DAN, FE, LSTM και Transformer για την πρόβλεψη της συγκέντρωσης TP στα επιφανειακά νερά. Αυτή η υβριδική προσέγγιση επιλύει τα μειονεκτήματα της υπερπροσαρμογής και της υποπροσαρμογής του μοντέλου που προκαλούνται από δεδομένα υψηλών διαστάσεων και την αδυναμία δημιουργίας μακροπρόθεσμων εξαρτήσεων μεταξύ των δεδομένων όταν γίνονται μακροπρόθεσμες προβλέψεις. Επιπλέον, οι τιμές SHAP χρησιμοποιούνται για την ερμηνεία της εξόδου του μοντέλου CF-LT.

Το μοντέλο χρησιμοποιεί δεδομένα από τρεις σταθμούς παρακολούθησης της ποιότητας του νερού στη λεκάνη της λίμνης Taihu για να παράγει 9 δείκτες ποιότητας νερού σε διαφορετικά χρονικά παράθυρα πρόβλεψης. Ως μοντέλα ελέγχου χρησιμοποιούνται αλγόριθμοι LSTM, Transformer, CF-L και CF-T. Το μοντέλο CF-LT έχει τιμή R2 0,37–0,87, τιμή MSE 0,34 × 10−3–1,46 × 10−3 και τιμή MAPE 7,88%–17,63% στο σύνολο δεδομένων δοκιμής, υποδεικνύοντας ότι και τα τρία Οι δείκτες είναι καλύτεροι από τα αποτελέσματα LSTM, Transformer, CF-L και CF-T. Το προτεινόμενο μοντέλο CF-LT παρήγαγε επίσης τα καλύτερα αποτελέσματα πρόβλεψης κορυφής. Με βάση την ερμηνεία του SHAP, βρήκαμε ότι οι TU και TN (εξαιρουμένων της πρώιμης χρονοσειράς συγκέντρωσης TP) είναι σημαντικοί παράγοντες που επηρεάζουν την πρόβλεψη TP, γεγονός που δείχνει ότι οι αλλαγές στο TP δεν σχετίζονται μόνο με τα πρώιμα επίπεδα συγκέντρωσης TP, αλλά επηρεάζονται επίσης από το TP συγκέντρωση. Η σχέση μεταξύ των εκπομπών ρύπανσης από μη σημειακές πηγές και των υδρόβιων φυτών στις εκβολές της λίμνης Taihu. Επιπλέον, αξίζει να σημειωθεί ότι η TN και η TU συμβάλλουν περισσότερο στην πρόβλεψη της συγκέντρωσης TP στην περίοδο των βροχών. Επομένως, τα αποτελέσματα αυτής της μελέτης δείχνουν ότι το μοντέλο CF-LT παρέχει πρόσθετες πληροφορίες για την κατανόηση του μηχανισμού απόκρισης του TP όταν αλλάζουν διαφορετικές περιβαλλοντικές συνθήκες.

6. Αναπαραγωγή κώδικα

Προεπεξεργασία δεδομένων CEEMDAN και FE

def ceemdan_fe_preprocessing(data):
    # CEEMDAN分解
    imfs, residue = ceemdan(data, **ceemdan_params)
    
    # 计算各个IMF的模糊熵
    fe_values = []
    for imf in imfs:
        fe_values.append(fuzzy_entropy(imf)) # 假定fuzzy_entropy为计算模糊熵的函数
    
    # 根据FE值重组IMFs
    imfs_sorted = [imf for _, imf in sorted(zip(fe_values, imfs))]
    imf_hf, imf_mf, imf_lf, imf_trend = imfs_sorted[:4], imfs_sorted[4:8], imfs_sorted[8:12], imfs_sorted[12:]
    return np.concatenate((imf_hf, imf_mf, imf_lf, imf_trend), axis=1)
 
# 应用到数据上
preprocessed_data = ceemdan_fe_preprocessing(original_data)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

LSTM & Transformer

def get_positional_encoding(max_len, d_model):
    pe = np.zeros((max_len, d_model))
    position = np.arange(0, max_len).reshape(-1, 1)
    div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
    pe[:, 0::2] = np.sin(position * div_term)
    pe[:, 1::2] = np.cos(position * div_term)
    return pe
 
def transformer_encoder(inputs, d_model, num_heads, ff_dim):
    x = MultiHeadAttention(num_heads=num_heads, key_dim=d_model)(inputs, inputs)
    x = LayerNormalization()(Add()([inputs, x]))
    x = Dense(ff_dim, activation='relu')(x)
    x = Dense(d_model)(x)
    x = LayerNormalization()(Add()([inputs, x]))
    return x
 
def transformer_decoder(inputs, encoder_outputs, d_model, num_heads, ff_dim):
    return decoder_output
 
input_features = Input(shape=(input_shape))
lstm_out = LSTM(lstm_units)(input_features) # LSTM
 
pos_encodings = get_positional_encoding(max_seq_length, d_model)
 
transformer_in = Add()([lstm_out, pos_encodings])
transformer_encoded = transformer_encoder(transformer_in, d_model, num_heads, ff_dim)
 
decoder_output = transformer_decoder(decoder_input, transformer_encoded, d_model, num_heads, ff_dim)
 
output_layer = Dense(output_dim, activation='linear')(decoder_output)
model = Model(inputs=input_features, outputs=output_layer)
 
model.compile(optimizer=Adam(learning_rate), loss='mse')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

περίληψη

Αυτή η μελέτη ανέπτυξε ένα ερμηνεύσιμο υβριδικό μοντέλο CEEMDAN-FE-LSTM-Transformer για την πρόβλεψη της συνολικής συγκέντρωσης φωσφόρου στα επιφανειακά ύδατα. μέσω SHAP. Τα πειραματικά αποτελέσματα επιβεβαίωσαν την αποτελεσματικότητα του μοντέλου, ιδιαίτερα τον εντοπισμό βασικών περιβαλλοντικών παραγόντων, παρέχοντας ένα ισχυρό εργαλείο για τη διαχείριση του ευτροφισμού των υδάτινων σωμάτων και τον έλεγχο της ρύπανσης.

βιβλιογραφικές αναφορές

[1] Jiefu Yao, Shuai Chen, Xiaohong Ruan. Ερμηνεύσιμο υβριδικό μοντέλο μετασχηματιστή CEEMDAN-FE-LSTM για την πρόβλεψη ολικών συγκεντρώσεων φωσφόρου στα επιφανειακά νερά. [J]Journal of Hydrology Τόμος 629, Φεβρουάριος 2024, 130609