Berbagi teknologi

Laporan Mingguan Machine Learning CF-LT untuk Minggu ke-47

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

minggu47 CF-LT

Ringkasan

Minggu ini saya membaca makalah berjudul Model hibrida transformator CEEMDAN-FE-LSTM yang dapat ditafsirkan untuk memprediksi konsentrasi total fosfor dalam air permukaan. Makalah ini mengusulkan model hybrid untuk prediksi TP. Makalah ini mengusulkan model hybrid untuk prediksi TP, yaitu model CF-LT. Model ini secara inovatif menggabungkan dekomposisi mode empiris (EMD) terintegrasi penuh dengan pemrosesan kebisingan adaptif, analisis entropi fuzzy, jaringan memori jangka pendek (LSTM) dan teknologi Transformer. Dengan memperkenalkan teknologi rekonstruksi pembagian frekuensi data, model ini secara efektif memecahkan masalah over-fitting dan under-fitting yang cenderung terjadi ketika model pembelajaran mesin tradisional menangani data berdimensi tinggi. Pada saat yang sama, penerapan mekanisme perhatian memungkinkan model CF-LT mengatasi keterbatasan model lain yang sulit membangun ketergantungan jangka panjang antar data saat membuat prediksi jangka panjang. Hasil prediksi menunjukkan bahwa model CF-LT mencapai koefisien determinasi (R2) sebesar 0,37 hingga 0,87 pada kumpulan data pengujian, yang merupakan peningkatan signifikan sebesar 0,05 hingga 0,17 (yaitu 6% hingga 85%) dibandingkan dengan kontrol. model. Selain itu, model CF-LT juga menunjukkan performa prediksi puncak terbaik.

Abstrak

Koran mingguan minggu ini menguraikan makalah berjudul Model hibrida transformator CEEMDAN-FE-LSTM yang dapat ditafsirkan untuk memprediksi konsentrasi fosfor total dalam air permukaan. Makalah ini memperkenalkan model hibrida, CF-LT, khususnya untuk prediksi TP. Model ini secara inovatif mengintegrasikan Complete Ensemble Empirical Mode Decomposition (EMD) dengan pemrosesan derau adaptif, analisis entropi fuzzy, jaringan Long Short-Term Memory (LSTM), dan teknologi Transformer. Dengan memperkenalkan pembagian dan rekonstruksi frekuensi data, CF-LT secara efektif mengatasi masalah overfitting dan underfitting yang sering ditemui model pembelajaran mesin tradisional saat menangani data berdimensi tinggi. Selain itu, penerapan mekanisme perhatian memungkinkan CF-LT untuk mengatasi keterbatasan model lain dalam membangun ketergantungan jangka panjang antara titik data selama prediksi jangka panjang. Hasil prediksi menunjukkan bahwa CF-LT mencapai koefisien keputusan (R2) berkisar antara 0,37 hingga 0,87 pada kumpulan data uji, yang menunjukkan peningkatan signifikan sebesar 0,05 hingga 0,17 (atau 6% hingga 85%) dibandingkan dengan model kontrol. Lebih jauh, CF-LT memberikan kinerja prediksi puncak terbaik.

1. Pertanyaan

Subjek: Model hibrida transformator CEEMDAN-FE-LSTM yang dapat diinterpretasikan untuk memprediksi konsentrasi total fosfor dalam air permukaan

Penulis: Jiefu Yao, Shuai Chen, Xiaohong Ruan

melepaskan:Jurnal Hidrologi Jilid 629Februari 2024, 130609

Sumber: https://www.sciencedirect.com/science/article/pii/S0022169424000039?via%3Dihub

2. Abstrak

Makalah ini mengusulkan model hybrid untuk prediksi TP. Model ini (CF-LT) menggabungkan Dekomposisi Mode Empiris (EMD) yang terintegrasi penuh dengan noise adaptif, entropi fuzzy, memori jangka pendek, dan Transformer.Rekonstruksi pembagian frekuensi dataPengenalan secara efektif memecahkan masalah over-fitting dan under-fitting yang terjadi ketika model pembelajaran mesin sebelumnya menghadapi data berdimensi tinggi.mekanisme perhatian Hal ini mengatasi masalah dimana model ini tidak dapat membangun ketergantungan jangka panjang antar data dan membuat prediksi jangka panjang. Hasil prediksi menunjukkan bahwa model CF-LT memperoleh koefisien determinasi (R2) sebesar 0,37-0,87 pada kumpulan data uji, yaitu 0,05-0,17 (6%-85%) lebih tinggi dibandingkan model kontrol. Selain itu, model CF-LT memberikan prediksi puncak terbaik.

3. Struktur jaringan

3.1 CEEMDAN (Dekomposisi Mode Empiris Ansambel Kebisingan Adaptif Sepenuhnya)

Sebagai metode analisis deret waktu tingkat lanjut, CEEMDAN secara efektif mengurangi masalah mode aliasing yang ada pada EMD tradisional dengan menambahkan noise adaptif ke proses dekomposisi mode empiris (EMD). Ini dapat menguraikan sinyal asli menjadi serangkaian fungsi mode intrinsik (IMF). Setiap IMF mewakili karakteristik skala waktu sinyal yang berbeda, sehingga membuat analisis sinyal kompleks menjadi lebih intuitif dan akurat. Dalam studi ini, CEEMDAN digunakan untuk mengolah data kualitas air harian dari tiga stasiun pemantauan di Danau Tai, memisahkan konsentrasi total fosfor dan parameter kualitas air lainnya seperti suhu air, pH, oksigen terlarut, dll. menjadi sinyal dalam pita frekuensi yang berbeda.

gambar-20240711193243810

Algoritma S1: Dekomposisi Modus Empiris Ensemble Lengkap dengan Adaptive Noise (CEEMDAN)

  1. Tentukan operatornya EK ( ∼ ) E_K(sim)Bahasa InggrisBahasa Inggris: Bahasa Inggris: Bahasa Inggris: K(), operator ini menghasilkan algoritma EMD Kth model. vti v_t^ikitaTSayaSetel ke derau putih Gaussian, ϵ epsilonϵadalah koefisien derau putih, aku aku akuSaya Indeks untuk menambahkan white noise. EMD digunakan untuk menguraikan data, dan setelah menambahkan white noise Gaussian ke sinyal asli y(t) menurut persamaan (S1), komponen fungsi mode intrinsik (IMF) pertama ( IMF 1 ‾ garis atas{IMF1}SAYAMF1 ). Modus pertama dihitung menggunakan persamaan (S2).

yi ( t ) = y ( t ) + ϵ 0 vi ( t ) i = 1 , 2 , … , n (S1) y^{i}(t)=y(t)+epsilon_0v^i(t)quad i=1,2,titik,ntag{S1}kamuSaya(T)=kamu(T)+ϵ0kitaSaya(T)Saya=1,2,,N(S1)

Bahasa Indonesia: IMF1 i = E 0 ( yi ( t ) ) + r 1 i IMF1 ‾ = 1 n IMF1 i (S2) teks{IMF1}_i=E_0(y^i(t))+r^i_1quad overline{teks{IMF1}}=frac1nteks{IMF1}_itag{S2}IMF1Saya=Bahasa Inggris0(kamuSaya(T))+R1SayaIMF1=N1IMF1Saya(S2)

  1. Hitung sisa dekomposisi sinyal pertama menggunakan Persamaan (S3). Tambahkan white noise baru sesuai persamaan (S4) dan hitung komponen IMF kedua (S4).

r 1 = yi ( t ) − IMF1 ‾ (S3) r_1=y^i(t)-garis atas{teks{IMF1}}tag{S3}R1=kamuSaya(T)IMF1(S3)

IMF2 ‾ = 1 n ∑ i = 1 n E 1 ( r 1 + ϵ 1 E 1 ( vi ( t ) ) ) (S4) overline{teks{IMF2}}=frac1njumlah^n_{i=1}E_1(r_1+epsilon_1E_1(v^i(t))) tag{S4}Dana Moneter Internasional (IMF)2=N1Saya=1NBahasa Inggris1(R1+ϵ1Bahasa Inggris1(kitaSaya(T)))(Ukuran S4)

  1. Ulangi langkah 1 dan 2 hingga sisa r_k menjadi fungsi monotonik. Terakhir, terapkan EMD untuk mendapatkan deret IMF K−1 yang merupakan komposisi deret aslinya, seperti:

y ( t ) = ∑ l = 1 K − 1 IMF1 ‾ + r K (S5) y(t)=jumlah^{K-1}_{l=1}garis atas{teks{IMF1}}+r_Ktag{S5}kamu(T)=aku=1Bahasa Inggris: Bahasa Inggris: Bahasa Inggris: K1IMF1+RBahasa Inggris: Bahasa Inggris: Bahasa Inggris: K(S5)

3.2 Struktur model CF-LT

Untuk bagian CEEMDAN-FE, pertama-tama kami membagi kumpulan data asli menjadi kumpulan data pelatihan dan pengujian, lalu menerapkan CEEMDAN untuk menguraikan setiap fitur dalam dua kumpulan data menjadi beberapa fungsi mode intrinsik (IMF). Berdasarkan kedekatan nilai FE masing-masing IMF, mereka direkonstruksi menjadi komponen frekuensi tinggi (IMFH), frekuensi menengah (IMFM), frekuensi rendah (IMFL) dan istilah tren (IMFT), yang mencerminkan aspek yang berbeda. dari IMF.

Untuk bagian LSTM-Transformer, pada encoder dan decoder, lapisan tersembunyi LSTM diganti dengan pengkodean posisi Transformer untuk membentuk ketergantungan temporal antara data masukan. Proses perhitungan spesifiknya adalah sebagai berikut (Gambar 2a).

gambar-20240711190100763

  1. Masukan model terdiri dari dua masukan fitur. Pada penelitian ini lapisan encoder meliputi suhu air (WT), pH (PH), oksigen terlarut (DO), kebutuhan oksigen kimia (COD), daya hantar listrik (EC), kekeruhan (TU), nitrogen amonia (NH3-N) , dan data total nitrogen (TN) dalam bentuk deret waktu diperoleh 7 hari sebelum titik waktu perkiraan pertama. Lapisan decoder berisi rangkaian waktu TP 7 hari sebelum titik waktu prediksi pertama.
  2. Setelah melewati lapisan LSTM dan linier, kedua kumpulan data fitur masing-masing dimasukkan ke dalam lapisan encoder dan lapisan decoder.
  3. Dua sub-lapisan membentuk lapisan encoder. Lapisan perhatian multi-head menghitung matriks perhatian dari fitur masukan, dan kemudian lapisan umpan maju mengubah dimensi data. Terakhir, data dimasukkan ke lapisan encoder atau decoder berikutnya.
  4. Tiga sub-lapisan membentuk lapisan decoder. Setelah lapisan perhatian multi-kepala bertopeng menghitung matriks perhatian dari fitur masukan, lapisan perhatian multi-kepala membuat koneksi perhatian berdasarkan keluaran dari lapisan pembuat enkode. Lapisan feedforward meneruskannya ke lapisan decoder berikutnya atau lapisan linier untuk mendapatkan keluaran model akhir.

3.3 BENTUK

SHAP adalah metode teori permainan untuk menafsirkan keluaran model ML apa pun.Untuk menentukan dampak fitur masukan pada keluaran model, fitur masukan Bahasa Indonesia: z = [ z 1 , . . . Bahasa Indonesia: , zp ] z = [z1, ..., zp]dari=[dari1,...,dariP]​Terkait dengan model pembelajaran mendalam yang dilatih F.
F = f ( z ) = ϕ 0 + ∑ i = 1 M ϕ izi (12) F=f(z)=phi_0+jumlah_{i=1}^M phi_iz_i tag{12}F=F(dari)=ϕ0+Saya=1MϕSayadariSaya(12)
φi ∈ R φ_i ∈ RφSayaRMenunjukkan kontribusi setiap fitur pada model, yang diberikan dengan rumus berikut:
Bahasa Indonesia: ϕ i ( F , x ) = ∑ z ≤ x ∣ z ∣ ! ( M − ∣ z ∣ − 1 ) ! M ! [ F ( z ) − F ( z / i ) ] (13) phi_i(F,x)=jumlah_{zleq x}frac{|z|!(M-|z|-1)!}{M!}[F(z)-F(z/i)] tag{13}ϕSaya(F,X)=dariXM!dari!(Mdari1)![F(dari)F(dari/Saya)](13)

4. Interpretasi Sastra

4.1 Pendahuluan

Studi ini mengusulkan model baru untuk memprediksi konsentrasi total fosfor. Model ini menggabungkan teknologi CEEM DAN, FE, LSTM dan Transformer dan menggunakan SHAP untuk menafsirkan keluaran model. Tujuan utama dari penelitian ini adalah untuk mengevaluasi kinerja model CEEMDAN-FE-LSTM-Transformer (CF-LT) yang diusulkan dalam memprediksi konsentrasi TP di pintu masuk Danau Tai dan menerapkan SHAP untuk menginterpretasikan keluaran CF-LT model. Hal ini harus mengungkap faktor-faktor kunci yang mempengaruhi konsentrasi TP di wilayah tersebut dan mekanisme responsnya.

Dekomposisi data berdimensi tinggi dapat menghasilkan komponen modal dalam jumlah besar. Untuk mengatasi masalah ini, Fuzzy Entropy (FE), sebuah metode yang efisien untuk menghitung kompleksitas waktu, dapat dikombinasikan dengan CEEMDAN. Kombinasi ini secara efektif merekonstruksi sub-sinyal CEEMDAN yang terdekomposisi, sehingga mengurangi jumlah model sub-frekuensi.

Model LSTMTransformer dapat menangkap hubungan antara titik waktu yang tidak berdekatan sambil mempertahankan karakteristik deret waktu dari data masukan.

Model transformator menggunakan mekanisme perhatian untuk mengidentifikasi korelasi antara dua lokasi dalam konteks tertentu selama pelatihan. Hal ini memungkinkan perolehan data yang relevan secara efisien dan mengurangi redundansi informasi.

4.2 Poin inovasi

Kontribusi utama artikel ini ada pada empat aspek:

  1. Model yang diusulkan menggabungkan analisis modal dengan metode pembelajaran mendalam, menggunakan entropi fuzzy untuk mengurangi dampak dekomposisi modal pada kompleksitas waktu, dan menggabungkan LSTM dengan Transformer untuk membangun ketergantungan jangka panjang dan jangka pendek dalam data.
  2. Model hybrid menggunakan LSTM dan Transformer akan digunakan untuk memprediksi TP fosfor total, yang belum pernah dilakukan pada penelitian sebelumnya.
  3. Hasil prediksi menunjukkan bahwa model CF-LT memperoleh koefisien determinasi (R2) sebesar 0,37-0,87 pada kumpulan data pengujian, yaitu 0,05-0,17 (6%-85%) lebih tinggi dibandingkan model kontrol. Selain itu, model CF-LT memberikan prediksi puncak terbaik.

4.3 Proses percobaan

Himpunan data : Cekungan Danau Taihu terletak di hilir Sungai Yangtze, seluas 36.900 kilometer persegi, dengan jaringan sungai yang padat dan banyak danau. Danau Taihu adalah danau dangkal yang khas. Cekungan ini mempunyai ciri-ciri iklim lembab di zona subtropis utara, dengan suhu rata-rata tahunan 15-17°C dan curah hujan tahunan rata-rata 1181 mm. Penelitian ini menggunakan data pemantauan kualitas air dari Stasiun Yaoxiangqiao, Stasiun Zhihugang, dan Stasiun Guanduqiao (Gambar S2). Stasiun pemantauan ini berlokasi di Taihukou, bagian penilaian kualitas air utama nasional. Data tersebut berasal dari Pusat Pemantauan Lingkungan Provinsi Jiangsu.

gambar-20240711193010590

Kriteria evaluasi : Evaluasi kinerja model menggunakan beberapa indikator utama: koefisien determinasi (R²), mean square error (MSE), dan mean absolute persentase error (MAPE). R² mengukur tingkat kesesuaian antara nilai prediksi model dan nilai sebenarnya.Mendekati 1 menunjukkan bahwa model memiliki kemampuan prediksi yang kuat; MSE mengukur jumlah kuadrat kesalahan prediksi. MAPE mencerminkan besarnya kesalahan prediksi dari perspektif persentase. Nilai yang lebih rendah berarti prediksi yang lebih akurat.

Detail implementasi : Proses eksperimen meliputi prapemrosesan data, pelatihan model, dan pengujian. Prosedur eksperimental lengkap dibuat untuk mengevaluasi kinerja model yang diusulkan pada kumpulan data dan jangka waktu prediksi yang berbeda. Pertama, data diproses terlebih dahulu dengan metode CEEMDAN-FE, yang menghilangkan gangguan informasi dengan menambahkan dekomposisi mode empiris terintegrasi penuh dengan noise adaptif, mengekstrak informasi multi-skala, dan menggunakan entropi fuzzy untuk mengurangi jumlah sub-sinyal. Selanjutnya data yang diolah dibagi menjadi training set dan test set dengan proporsi 75% dan 25%. Pada fase pelatihan, kumpulan data pelatihan yang telah diproses sebelumnya dimasukkan ke dalam model LSTM-Transformer. Gunakan backpropagation dan pengoptimal Adam untuk memperbarui bobot model, dan gunakan pencarian grid untuk mengidentifikasi hyperparameter terbaik dari modul LSTMTransformer untuk memastikan performa model dalam rentang waktu prediksi yang berbeda (7 hari, 5 hari, 3 hari, 1 hari) optimal.

Hasil percobaan : Menerapkan model pelatihan terbaik pada kumpulan data pengujian, tabel ini merangkum prediksi konsentrasi TP yang diberikan oleh model CF-LT, LSTM, Transformer, CF-L, dan CF-T di lokasi berbeda dan jendela waktu prediksi berbeda. Model CF-LT yang diusulkan memberikan hasil terbaik untuk ketiga metrik evaluasi. Dari segi R2, model CF-LT berkisar antara 0,37 hingga 0,87, sedangkan model CF-L dan CF-T terbaik berikutnya masing-masing adalah 0,32-0,84 dan 0,35-0,86. Hal ini menunjukkan bahwa menggabungkan memori jangka panjang LSTM dengan mekanisme perhatian Transformer dapat meningkatkan akurasi prediksi. Jika dibandingkan model LSTM dan Transformer terburuk dengan model CF-L dan CF-T, MAPE berkisar antara 8,94%-20,62% (LSTM) dan 8,91%-18,73% (Transformer) hingga 8,29%-19,56% (CF -L) dan 7,82%-17,55% (CF-T). Hasil ini menunjukkan bahwa dekomposisi data dan pemodelan pembagian frekuensi secara signifikan meningkatkan akurasi prediksi dengan menangkap lebih banyak informasi yang tersembunyi dalam data asli.

gambar-20240711191527172

Prediksi faktor yang mempengaruhi konsentrasi total fosfor TP

Nilai SHAP absolut rata-rata (MASV) digunakan untuk mengukur kontribusi fitur input (WT, PH, DO, COD, EC, TU, TN, NH3-N, TP) terhadap hasil prediksi TP semakin besar dampaknya terhadap hasil prediksi model. Penelitian menunjukkan bahwa selain rangkaian konsentrasi TP sebelumnya, total nitrogen (TN) dan kekeruhan (TU) adalah dua faktor utama yang mempengaruhi prediksi TP. Hal ini menunjukkan bahwa perubahan TP tidak hanya dipengaruhi secara langsung oleh konsentrasi historis, namun juga terkait erat dengan dinamika pertumbuhan alga yang terkait dengan emisi polusi non-point source dan rasio nitrogen-fosfor di badan air. Secara khusus, korelasi yang signifikan antara TN dan TP menekankan efek penggabungan keduanya dalam siklus nutrisi danau dan menyoroti pentingnya masukan nitrogen sumber non-titik untuk prediksi konsentrasi fosfor.

gambar-20240711191709183

Dari hasil tersebut dapat dilakukan pengamatan sebagai berikut:

  • Dalam hal metrik keadilan, banyak GNN yang ada memiliki kinerja buruk dibandingkan model MLP di ketiga kumpulan data. Misalnya, pada dataset Pokec-z, paritas demografi MLP adalah 32,64%, 50,46%, 66,53%, dan 58,72% lebih rendah dibandingkan GAT, GCN, SGC, dan APPNP. Bias prediksi yang lebih tinggi berasal dari agregasi dalam node atribut sensitif yang sama dan bias topologi dalam data grafik.
  • FMP secara konsisten mencapai bias prediksi terendah dalam hal kesetaraan populasi dan kesetaraan peluang di seluruh kumpulan data. Secara khusus, FMP mengurangi paritas demografis sebesar 49,69%, 56,86%, dan 5,97% dibandingkan dengan bias terendah di antara semua data dasar dalam kumpulan data Pokecz, Pokec-n, dan NBA. Pada saat yang sama, FMP mencapai akurasi terbaik dalam kumpulan data NBA dan mencapai akurasi yang sebanding dalam kumpulan data Pokec-z dan Pokec-n. Singkatnya, FMP yang diusulkan dapat secara efektif mengurangi bias prediksi sekaligus mempertahankan kinerja prediksi.

Perbandingan dengan debiasing dan regularisasi permusuhan : Bagi secara acak 50%/25%/25% untuk kumpulan data pelatihan, validasi, dan pengujian. Gambar 2 menunjukkan kurva optimal Pareto untuk semua metode, di mana titik sudut kanan bawah mewakili kinerja ideal (akurasi tertinggi dan deviasi prediksi terendah).

gambar-20240707171047802

5. Kesimpulan

Model hibrida CF-LT yang diusulkan dalam artikel ini menggabungkan modul CEEM DAN, FE, LSTM dan Transformer untuk memprediksi konsentrasi TP di air permukaan. Pendekatan hibrid ini memecahkan kekurangan model overfitting dan underfitting yang disebabkan oleh data berdimensi tinggi dan ketidakmampuan untuk membangun ketergantungan jangka panjang antar data saat membuat prediksi jangka panjang. Selain itu, nilai SHAP digunakan untuk menginterpretasikan keluaran model CF-LT.

Model ini menggunakan data dari tiga stasiun pemantauan kualitas air di Cekungan Danau Taihu untuk menghasilkan 9 indikator kualitas air dalam rentang waktu prediksi yang berbeda. Algoritma LSTM, Transformer, CF-L dan CF-T digunakan sebagai model kontrol. Model CF-LT memiliki nilai R2 sebesar 0,37–0,87, nilai MSE sebesar 0,34 × 10−3–1,46 × 10−3, dan nilai MAPE sebesar 7,88%–17,63% pada kumpulan data pengujian, yang menunjukkan bahwa ketiganya indikatornya lebih baik dibandingkan hasil LSTM, Transformer, CF-L dan CF-T. Model CF-LT yang diusulkan juga memberikan hasil prediksi puncak terbaik. Berdasarkan interpretasi SHAP, kami menemukan bahwa TU dan TN (tidak termasuk rangkaian waktu awal konsentrasi TP) merupakan faktor penting yang mempengaruhi prediksi TP, yang menunjukkan bahwa perubahan TP tidak hanya terkait dengan tingkat awal konsentrasi TP, namun juga dipengaruhi oleh TP. konsentrasi. Hubungan antara emisi polusi non-point source dan tanaman air di muara Danau Taihu. Selain itu, perlu dicatat bahwa TN dan TU berkontribusi lebih besar terhadap prediksi konsentrasi TP di musim hujan. Oleh karena itu, hasil penelitian ini menunjukkan bahwa model CF-LT memberikan informasi tambahan untuk memahami mekanisme respons TP ketika kondisi lingkungan berbeda berubah.

6. Reproduksi kode

Pemrosesan awal data CEEMDAN dan FE

def ceemdan_fe_preprocessing(data):
    # CEEMDAN分解
    imfs, residue = ceemdan(data, **ceemdan_params)
    
    # 计算各个IMF的模糊熵
    fe_values = []
    for imf in imfs:
        fe_values.append(fuzzy_entropy(imf)) # 假定fuzzy_entropy为计算模糊熵的函数
    
    # 根据FE值重组IMFs
    imfs_sorted = [imf for _, imf in sorted(zip(fe_values, imfs))]
    imf_hf, imf_mf, imf_lf, imf_trend = imfs_sorted[:4], imfs_sorted[4:8], imfs_sorted[8:12], imfs_sorted[12:]
    return np.concatenate((imf_hf, imf_mf, imf_lf, imf_trend), axis=1)
 
# 应用到数据上
preprocessed_data = ceemdan_fe_preprocessing(original_data)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

LSTM &Transformator

def get_positional_encoding(max_len, d_model):
    pe = np.zeros((max_len, d_model))
    position = np.arange(0, max_len).reshape(-1, 1)
    div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
    pe[:, 0::2] = np.sin(position * div_term)
    pe[:, 1::2] = np.cos(position * div_term)
    return pe
 
def transformer_encoder(inputs, d_model, num_heads, ff_dim):
    x = MultiHeadAttention(num_heads=num_heads, key_dim=d_model)(inputs, inputs)
    x = LayerNormalization()(Add()([inputs, x]))
    x = Dense(ff_dim, activation='relu')(x)
    x = Dense(d_model)(x)
    x = LayerNormalization()(Add()([inputs, x]))
    return x
 
def transformer_decoder(inputs, encoder_outputs, d_model, num_heads, ff_dim):
    return decoder_output
 
input_features = Input(shape=(input_shape))
lstm_out = LSTM(lstm_units)(input_features) # LSTM
 
pos_encodings = get_positional_encoding(max_seq_length, d_model)
 
transformer_in = Add()([lstm_out, pos_encodings])
transformer_encoded = transformer_encoder(transformer_in, d_model, num_heads, ff_dim)
 
decoder_output = transformer_decoder(decoder_input, transformer_encoded, d_model, num_heads, ff_dim)
 
output_layer = Dense(output_dim, activation='linear')(decoder_output)
model = Model(inputs=input_features, outputs=output_layer)
 
model.compile(optimizer=Adam(learning_rate), loss='mse')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

ringkasan

Studi ini mengembangkan model hibrida CEEMDAN-FE-LSTM-Transformer yang dapat ditafsirkan untuk prediksi konsentrasi total fosfor dalam air permukaan. Model ini secara signifikan meningkatkan akurasi prediksi melalui perpaduan teknologi pra-pemrosesan data canggih dan model pembelajaran mendalam, dan Memberikan penjelasan fitur yang jelas. melalui SHAP. Hasil percobaan mengkonfirmasi efektivitas model, terutama identifikasi faktor lingkungan utama, yang menyediakan alat yang ampuh untuk pengelolaan eutrofikasi badan air dan pengendalian polusi.

referensi

[1] Jurnal Hidrologi Jilid 629Februari 2024, 130609