Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

semaine 47 CF-LT

Résumé

Cette semaine, j'ai lu un article intitulé Modèle hybride interprétable CEEMDAN-FE-LSTM-transformer pour prédire les concentrations de phosphore total dans les eaux de surface. Cet article propose un modèle hybride pour la prédiction de TP. Cet article propose un modèle hybride pour la prédiction de TP, à savoir le modèle CF-LT. Le modèle combine de manière innovante une décomposition en mode empirique (EMD) entièrement intégrée avec un traitement adaptatif du bruit, une analyse d'entropie floue, un réseau de mémoire à long terme (LSTM) et la technologie Transformer. En introduisant la technologie de reconstruction par division de fréquence des données, ce modèle résout efficacement les problèmes de surajustement et de sous-ajustement susceptibles de se produire lorsque les modèles d'apprentissage automatique traditionnels traitent des données de grande dimension. Dans le même temps, l'application du mécanisme d'attention permet au modèle CF-LT de surmonter les limites d'autres modèles qui sont difficiles à établir des dépendances à long terme entre les données lors de l'élaboration de prévisions à long terme. Les résultats de prédiction montrent que le modèle CF-LT a atteint un coefficient de détermination (R2) de 0,37 à 0,87 sur l'ensemble de données de test, ce qui représente une amélioration significative de 0,05 à 0,17 (soit 6 % à 85 %) par rapport au modèle témoin. modèle. De plus, le modèle CF-LT a également montré les meilleures performances de prévision des pics.

Abstrait

Le journal hebdomadaire de cette semaine décrypte l'article intitulé Modèle hybride interprétable CEEMDAN-FE-LSTM-transformateur pour la prédiction des concentrations totales de phosphore dans les eaux de surface. Cet article présente un modèle hybride, CF-LT, spécifiquement destiné à la prédiction du TP. Le modèle intègre de manière innovante la décomposition en mode empirique d'ensemble complet (EMD) avec le traitement adaptatif du bruit, l'analyse d'entropie floue, les réseaux de mémoire à long terme (LSTM) et la technologie du transformateur. En introduisant la division et la reconstruction de la fréquence des données, CF-LT aborde efficacement les problèmes de sur-ajustement et de sous-ajustement que les modèles d'apprentissage automatique traditionnels rencontrent souvent lorsqu'ils traitent des données de grande dimension. De plus, l'application du mécanisme d'attention permet à CF-LT de surmonter les limitations d'autres modèles dans l'établissement de dépendances à long terme entre les points de données lors des prévisions à long terme. Les résultats de prédiction démontrent que CF-LT atteint un coefficient de décision (R2) compris entre 0,37 et 0,87 sur les ensembles de données de test, ce qui représente une amélioration significative de 0,05 à 0,17 (ou 6 % à 85 %) par rapport aux modèles de contrôle. De plus, CF-LT offre les meilleures performances de prédiction de pointe.

1. Question

Résumé : Modèle hybride interprétable CEEMDAN-FE-LSTM-transformateur pour la prévision des concentrations totales de phosphore dans les eaux de surface

Auteurs : Jiefu Yao, Shuai Chen, Xiaohong Ruan

libérer:Journal d'hydrologie Volume 629, février 2024, 130609

Article précédent : https://www.sciencedirect.com/science/article/pii/S0022169424000039?via%3Dihub

2. Résumé

Cet article propose un modèle hybride pour la prédiction de TP. Ce modèle (CF-LT) combine une décomposition en mode empirique (EMD) entièrement intégrée avec un bruit adaptatif, une entropie floue, une mémoire longue à court terme et un transformateur.Reconstruction de la division de fréquence des donnéesL'introduction de résout efficacement les problèmes de surajustement et de sous-ajustement qui se produisaient lorsque les modèles d'apprentissage automatique précédents étaient confrontés à des données de grande dimension.mécanisme d'attention Cela résout le problème selon lequel ces modèles ne peuvent pas établir de dépendances à long terme entre les données et faire des prédictions à long terme. Les résultats de prédiction montrent que le modèle CF-LT atteint un coefficient de détermination (R2) de 0,37 à 0,87 sur l'ensemble de données de test, soit 0,05 à 0,17 (6 % à 85 %) supérieur à celui du modèle de contrôle. De plus, le modèle CF-LT a fourni la meilleure prévision des pics.

3. Structure du réseau

3.1 CEEMDAN (Décomposition en mode empirique d'ensemble de bruit complètement adaptatif)

En tant que méthode avancée d'analyse de séries chronologiques, CEEMDAN réduit efficacement le problème d'alias de mode existant dans l'EMD traditionnel en ajoutant du bruit adaptatif au processus de décomposition de mode empirique (EMD). Il peut décomposer le signal d'origine en une série de fonctions de mode intrinsèque (IMF). Chaque IMF représente différentes caractéristiques d'échelle de temps du signal, rendant ainsi l'analyse de signaux complexes plus intuitive et précise. Dans cette étude, CEEMDAN a été utilisé pour traiter les données quotidiennes sur la qualité de l'eau provenant de trois stations de surveillance du lac Tai, en séparant la concentration de phosphore total et d'autres paramètres de qualité de l'eau tels que la température de l'eau, le pH, l'oxygène dissous, etc. en signaux dans différentes bandes de fréquences.

Algorithme S1 : Décomposition en mode empirique d'ensemble complet avec bruit adaptatif (CEEMDAN)

1. Définir l'opérateur $E_K(\sim )$, cet opérateur génère l'algorithme EMD Kth modèle.$v_t^{je}$Réglé sur bruit blanc gaussien,$ϵ$est le coefficient de bruit blanc,$je$ Indice d'ajout de bruit blanc. EMD est utilisé pour décomposer les données, et après avoir ajouté du bruit blanc gaussien au signal d'origine y(t) selon l'équation (S1), le premier composant de la fonction de mode intrinsèque (IMF) ($\overline{jeMF1}$ ). Le premier mode est calculé à l'aide de l'équation (S2).

$${et}^{je}(t)=et(t)+{ϵ}_0{v}^{je}(t)je=1,2,\dots ,n\text{\hspace{1em}(S1)}$$

$${\text{FMI1}}_{je}=E_0({et}^{je}(t))+l_1^{je}\overline{\text{FMI1}}=\frac{1}{n}{\text{FMI1}}_{je}\text{\hspace{1em}(S2)}$$

2. Calculez les résidus de la première décomposition du signal à l’aide de l’équation (S3). Ajoutez un nouveau bruit blanc selon l’équation (S4) et calculez la deuxième composante du FMI (S4).

$$l_1={et}^{je}(t)-\overline{\text{FMI1}}\text{\hspace{1em}(S3)}$$

$$\overline{\text{FMI2}}=\frac{1}{n}\sum _{je=1}^n{E}_1(l_1+{ϵ}_1{E}_1(v^{je}(t)))\text{\hspace{1em}(S4)}$$

3. Répétez les étapes 1 et 2 jusqu'à ce que le r_k résiduel soit une fonction monotone. Enfin, appliquez EMD pour obtenir la série K−1th IMF, qui est la composition originale de la série, telle que :

$$et(t)=\sum _{l=1}^{K-1}\overline{\text{FMI1}}+l_K\text{\hspace{1em}(S5)}$$

3.2 Structure du modèle CF-LT

Pour la partie CEEMDAN-FE, nous divisons d'abord l'ensemble de données d'origine en ensembles de données de formation et de test, puis appliquons CEEMDAN pour décomposer chaque fonctionnalité des deux ensembles de données en plusieurs fonctions de mode intrinsèque (IMF). En fonction de la proximité des valeurs FE de chaque IMF, elles sont reconstruites en composantes haute fréquence (IMFH), moyenne fréquence (IMFM), basse fréquence (IMFL) et termes de tendance (IMFT), qui reflètent différents aspects. du FMI.

Pour la partie LSTM-Transformer, dans l'encodeur et le décodeur, la couche cachée de LSTM est remplacée par l'encodage de position du transformateur pour établir la dépendance temporelle entre les données d'entrée. Le processus de calcul spécifique est le suivant (Figure 2a).

1. L'entrée du modèle se compose de deux entrées de fonctionnalités. Dans cette étude, la couche d'encodeur comprend la température de l'eau (WT), le pH (PH), l'oxygène dissous (DO), la demande chimique en oxygène (DCO), la conductivité électrique (EC), la turbidité (TU), l'azote ammoniacal (NH3-N) et les données sur l'azote total (TN) sous forme de séries chronologiques obtenues 7 jours avant le premier point temporel de prévision. La couche de décodeur contient la série chronologique TP 7 jours avant le premier instant de prédiction.
2. Après avoir traversé les couches LSTM et linéaire, les deux ensembles de données de caractéristiques sont respectivement introduits dans la couche de codeur et la couche de décodeur.
3. Deux sous-couches forment la couche d'encodeur. La couche d'attention multi-têtes calcule la matrice d'attention des entités d'entrée, puis la couche de rétroaction modifie la dimension des données. Enfin, les données sont introduites dans la couche d'encodeur ou de décodeur suivante.
4. Trois sous-couches constituent la couche décodeur. Une fois que la couche d'attention multi-têtes masquée a calculé la matrice d'attention des caractéristiques d'entrée, la couche d'attention multi-têtes établit des connexions d'attention en fonction de la sortie de la couche d'encodeur. La couche de rétroaction le transmet à la couche de décodeur ou à la couche linéaire suivante pour obtenir la sortie finale du modèle.

3.3 FORME

SHAP est une méthode de théorie des jeux permettant d'interpréter la sortie de n'importe quel modèle ML.Pour déterminer l'impact des entités en entrée sur la sortie du modèle, les entités en entrée$j=[j1,...,jp]$​Lié au modèle d'apprentissage profond formé F.
$$F=F(j)={\varphi }_0+\sum _{je=1}^M{\varphi }_{je}{j}_{je}\text{\hspace{1em}(12)}$$
${\phi }_{je}\in R$Indique la contribution de chaque fonctionnalité au modèle, qui est donnée par la formule suivante :
$${\varphi }_{je}(F,X)=\sum _{j\le X}\frac{|j|!(M-|j|-1)!}{M!}[F(j)-F(j/je)]\text{\hspace{1em}(13)}$$

4. Interprétation de la littérature

4.1 Introduction

L'étude propose un nouveau modèle pour prédire les concentrations de phosphore total. Le modèle combine les technologies CEEM DAN, FE, LSTM et Transformer et utilise SHAP pour interpréter les résultats du modèle. L'objectif principal de cette étude est d'évaluer les performances du modèle CEEMDAN-FE-LSTM-Transformer (CF-LT) proposé pour prédire la concentration de TP à l'entrée du lac Tai et d'appliquer SHAP pour interpréter les résultats du CF-LT. modèle. Cela devrait révéler les facteurs clés affectant la concentration de TP dans la région et leurs mécanismes de réponse.

La décomposition de données en grande dimension peut produire un grand nombre de composants modaux. Pour résoudre ce problème, Fuzzy Entropy (FE), une méthode efficace de calcul de la complexité temporelle, peut être combinée avec CEEMDAN. Cette combinaison reconstruit efficacement les sous-signaux décomposés CEEMDAN, réduisant ainsi le nombre de modèles de sous-fréquence.

Les modèles LSTMTransformer peuvent capturer les relations entre des points temporels non adjacents tout en préservant les caractéristiques des séries chronologiques des données d'entrée.

Les modèles de transformateur utilisent des mécanismes d'attention pour identifier les corrélations entre deux emplacements dans un contexte spécifique pendant la formation. Cela permet une acquisition efficace des données pertinentes et réduit la redondance des informations.

4.2 Points d'innovation

Les principales contributions de cet article portent sur quatre aspects :

1. Le modèle proposé combine l'analyse modale avec des méthodes d'apprentissage profond, utilise l'entropie floue pour réduire l'impact de la décomposition modale sur la complexité temporelle et combine LSTM avec Transformer pour construire des dépendances à long terme et à court terme dans les données.
2. Un modèle hybride utilisant LSTM et Transformer sera utilisé pour prédire le PT du phosphore total, ce qui n'a pas été fait dans les études précédentes.
3. Les résultats de prédiction montrent que le modèle CF-LT atteint un coefficient de détermination (R2) de 0,37 à 0,87 sur l'ensemble de données de test, soit 0,05 à 0,17 (6 % à 85 %) supérieur à celui du modèle de contrôle. De plus, le modèle CF-LT a fourni la meilleure prévision des pics.

4.3 Processus expérimental

base de données : Le bassin du lac Taihu est situé dans le cours inférieur du fleuve Yangtze, couvrant une superficie de 36 900 kilomètres carrés, avec un réseau fluvial dense et de nombreux lacs. Le lac Taihu est un lac peu profond typique. Le bassin présente les caractéristiques d'un climat humide de la zone subtropicale nord, avec une température annuelle moyenne de 15-17°C et des précipitations annuelles moyennes de 1181 mm. Cette étude a utilisé les données de surveillance de la qualité de l'eau des stations Yaoxiangqiao, Zhihugang et Guanduqiao (Figure S2). Ces stations de surveillance sont situées à Taihukou, une section nationale clé d'évaluation de la qualité de l'eau. Les données proviennent du Centre provincial de surveillance de l'environnement du Jiangsu.

Critère d'évaluation : L'évaluation des performances du modèle utilise plusieurs indicateurs clés : coefficient de détermination (R²), erreur quadratique moyenne (MSE) et erreur absolue moyenne en pourcentage (MAPE). R² mesure le degré d'ajustement entre la valeur prédite du modèle et la valeur réelle. Près de 1 indique que le modèle a une forte capacité de prédiction ; MSE mesure la somme des carrés de l'erreur de prédiction. Plus la valeur est petite, plus l'erreur de prédiction est petite ; MAPE reflète la taille de l'erreur de prédiction sous forme de pourcentage. La valeur inférieure signifie des prédictions plus précises.

Détails d'implémentation : Le processus expérimental comprend le prétraitement des données, la formation du modèle et les tests. Une procédure expérimentale complète est établie pour évaluer les performances du modèle proposé sur différents ensembles de données et fenêtres temporelles de prédiction. Premièrement, les données sont prétraitées par la méthode CEEMDAN-FE, qui supprime les interférences d'informations en ajoutant une décomposition en mode empirique entièrement intégrée avec bruit adaptatif, extrait des informations multi-échelles et utilise l'entropie floue pour réduire le nombre de sous-signaux. Ensuite, les données traitées sont divisées en ensemble d'entraînement et ensemble de test dans des proportions de 75 % et 25 %. Dans la phase de formation, l'ensemble de données de formation prétraitées est entré dans le modèle LSTM-Transformer. Utilisez la rétropropagation et l'optimiseur Adam pour mettre à jour les poids du modèle, et utilisez la recherche par grille pour identifier les meilleurs hyperparamètres du module LSTMTransformer afin de garantir les performances du modèle sous différentes fenêtres temporelles de prédiction (7 jours, 5 jours, 3 jours, 1 jour) optimales.

Résultats expérimentaux : En appliquant le meilleur modèle de formation à l'ensemble de données de test, le tableau résume les prévisions de concentration de TP données par les modèles CF-LT, LSTM, Transformer, CF-L et CF-T sur différents sites et différentes fenêtres temporelles de prédiction. Le modèle CF-LT proposé donne les meilleurs résultats pour les trois mesures d'évaluation. En termes de R2, le modèle CF-LT va de 0,37 à 0,87, tandis que les prochains meilleurs modèles CF-L et CF-T sont respectivement de 0,32 à 0,84 et de 0,35 à 0,86. Cela montre que la combinaison de la mémoire à long terme du LSTM avec le mécanisme d’attention de Transformer peut améliorer la précision des prédictions. En comparant les pires modèles LSTM et Transformer avec les modèles CF-L et CF-T, le MAPE varie de 8,94 % à 20,62 % (LSTM) et 8,91 % à 18,73 % (Transformer) à 8,29 % à 19,56 % (CF -L). et 7,82%-17,55% (CF-T). Ces résultats démontrent que la décomposition des données et la modélisation par division de fréquence améliorent considérablement la précision des prévisions en capturant davantage d'informations cachées dans les données originales.

Prédiction des facteurs affectant la concentration totale de phosphore TP：

La valeur SHAP absolue moyenne (MASV) est utilisée pour quantifier la contribution des caractéristiques d'entrée (WT, PH, DO, COD, EC, TU, TN, NH3-N, TP) aux résultats de prédiction TP. plus l'impact sur les résultats de prédiction du modèle est grand. La recherche montre qu'en plus des séries passées de concentrations de TP elles-mêmes, l'azote total (TN) et la turbidité (TU) sont les deux principaux facteurs affectant la prévision du TP. Cela montre que les changements de TP sont non seulement directement affectés par les concentrations historiques, mais sont également étroitement liés à la dynamique de croissance des algues associée aux émissions de pollution diffuse et au rapport azote-phosphore dans le plan d'eau. En particulier, la corrélation significative entre TN et TP souligne l'effet de couplage des deux dans le cycle des éléments nutritifs du lac et met en évidence l'importance de l'apport d'azote de source diffuse pour la prévision de la concentration de phosphore.

De ces résultats, les observations suivantes peuvent être faites :

• En termes de mesures d'équité, de nombreux GNN existants fonctionnent mal par rapport aux modèles MLP sur les trois ensembles de données. Par exemple, sur l'ensemble de données Pokec-z, la parité démographique de MLP est inférieure de 32,64 %, 50,46 %, 66,53 % et 58,72 % à celle de GAT, GCN, SGC et APPNP. Un biais de prédiction plus élevé provient d'agrégations au sein des mêmes nœuds d'attributs sensibles et d'un biais topologique dans les données graphiques.
• FMP atteint systématiquement le biais de prédiction le plus faible en termes d’égalité de la population et d’égalité des chances dans tous les ensembles de données. Plus précisément, FMP réduit la parité démographique de 49,69 %, 56,86 % et 5,97 % par rapport au biais le plus faible parmi toutes les lignes de base des ensembles de données Pokecz, Pokec-n et NBA. Dans le même temps, FMP atteint la meilleure précision dans l'ensemble de données NBA et atteint une précision comparable dans les ensembles de données Pokec-z et Pokec-n. En bref, le FMP proposé peut atténuer efficacement les biais de prédiction tout en maintenant les performances de prédiction.

Comparaison avec le débiaisme contradictoire et la régularisation : Répartition aléatoire 50 %/25 %/25 % pour les ensembles de données de formation, de validation et de test. La figure 2 montre les courbes optimales de Pareto pour toutes les méthodes, où le point du coin inférieur droit représente la performance idéale (précision la plus élevée et écart de prédiction le plus faible).

5. Conclusion

Le modèle hybride CF-LT proposé dans cet article combine les modules CEEM DAN, FE, LSTM et Transformer pour prédire la concentration de TP dans les eaux de surface. Cette approche hybride résout les défauts du surajustement et du sous-ajustement du modèle causés par des données de grande dimension et l'incapacité d'établir des dépendances à long terme entre les données lors de l'élaboration de prévisions à long terme. De plus, les valeurs SHAP sont utilisées pour interpréter les résultats du modèle CF-LT.

Le modèle utilise les données de trois stations de surveillance de la qualité de l'eau dans le bassin du lac Taihu pour produire 9 indicateurs de qualité de l'eau dans différentes fenêtres temporelles de prévision. Les algorithmes LSTM, Transformer, CF-L et CF-T sont utilisés comme modèles de contrôle. Le modèle CF-LT a une valeur R2 de 0,37 à 0,87, une valeur MSE de 0,34 × 10−3 à 1,46 × 10−3 et une valeur MAPE de 7,88 % à 17,63 % sur l'ensemble de données de test, ce qui indique que les trois les indicateurs sont meilleurs que les résultats du LSTM, Transformer, CF-L et CF-T. Le modèle CF-LT proposé a également produit les meilleurs résultats de prévision des pics. Sur la base de l'interprétation SHAP, nous avons constaté que TU et TN (à l'exclusion des premières séries chronologiques de concentration de TP) sont des facteurs importants affectant la prédiction de TP, ce qui indique que les changements de TP ne sont pas seulement liés aux premiers niveaux de concentration de TP, mais également affectés par la TP. concentration. La relation entre les émissions de pollution diffuses et les plantes aquatiques dans l'estuaire du lac Taihu. De plus, il convient de noter que TN et TU contribuent davantage à la prévision de la concentration de TP pendant la saison des pluies. Par conséquent, les résultats de cette étude indiquent que le modèle CF-LT fournit des informations supplémentaires pour comprendre le mécanisme de réponse du TP lorsque différentes conditions environnementales changent.

6. Reproduction des codes

Prétraitement des données CEEMDAN et FE

def ceemdan_fe_preprocessing(data):
    # CEEMDAN分解
    imfs, residue = ceemdan(data, **ceemdan_params)
    
    # 计算各个IMF的模糊熵
    fe_values = []
    for imf in imfs:
        fe_values.append(fuzzy_entropy(imf)) # 假定fuzzy_entropy为计算模糊熵的函数
    
    # 根据FE值重组IMFs
    imfs_sorted = [imf for _, imf in sorted(zip(fe_values, imfs))]
    imf_hf, imf_mf, imf_lf, imf_trend = imfs_sorted[:4], imfs_sorted[4:8], imfs_sorted[8:12], imfs_sorted[12:]
    return np.concatenate((imf_hf, imf_mf, imf_lf, imf_trend), axis=1)
 
# 应用到数据上
preprocessed_data = ceemdan_fe_preprocessing(original_data)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

LSTM et transformateur

def get_positional_encoding(max_len, d_model):
    pe = np.zeros((max_len, d_model))
    position = np.arange(0, max_len).reshape(-1, 1)
    div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
    pe[:, 0::2] = np.sin(position * div_term)
    pe[:, 1::2] = np.cos(position * div_term)
    return pe
 
def transformer_encoder(inputs, d_model, num_heads, ff_dim):
    x = MultiHeadAttention(num_heads=num_heads, key_dim=d_model)(inputs, inputs)
    x = LayerNormalization()(Add()([inputs, x]))
    x = Dense(ff_dim, activation='relu')(x)
    x = Dense(d_model)(x)
    x = LayerNormalization()(Add()([inputs, x]))
    return x
 
def transformer_decoder(inputs, encoder_outputs, d_model, num_heads, ff_dim):
    return decoder_output
 
input_features = Input(shape=(input_shape))
lstm_out = LSTM(lstm_units)(input_features) # LSTM
 
pos_encodings = get_positional_encoding(max_seq_length, d_model)
 
transformer_in = Add()([lstm_out, pos_encodings])
transformer_encoded = transformer_encoder(transformer_in, d_model, num_heads, ff_dim)
 
decoder_output = transformer_decoder(decoder_input, transformer_encoded, d_model, num_heads, ff_dim)
 
output_layer = Dense(output_dim, activation='linear')(decoder_output)
model = Model(inputs=input_features, outputs=output_layer)
 
model.compile(optimizer=Adam(learning_rate), loss='mse')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

résumé

Cette étude a développé un modèle hybride interprétable CEEMDAN-FE-LSTM-Transformer pour la prédiction de la concentration totale de phosphore dans les eaux de surface. Le modèle a considérablement amélioré la précision de la prévision grâce à la fusion d'une technologie avancée de prétraitement des données et de modèles d'apprentissage en profondeur, et fournit une explication claire des fonctionnalités. via SHAP. Les résultats expérimentaux ont confirmé l'efficacité du modèle, en particulier l'identification des facteurs environnementaux clés, fournissant un outil puissant pour la gestion de l'eutrophisation des masses d'eau et le contrôle de la pollution.

les références

[1] Journal d'hydrologie Volume 629, février 2024, 130609