Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

неделя47 CF-LT

Краткое содержание

На этой неделе я прочитал статью под названием «Интерпретируемая гибридная модель CEEMDAN-FE-LSTM для прогнозирования общей концентрации фосфора в поверхностных водах». В этой статье предлагается гибридная модель прогнозирования TP. В этой статье предлагается гибридная модель прогнозирования TP, а именно модель CF-LT. Модель инновационным образом сочетает в себе полностью интегрированную декомпозицию эмпирических мод (EMD) с адаптивной обработкой шума, нечетким энтропийным анализом, сетью долгосрочной краткосрочной памяти (LSTM) и технологией Transformer. Благодаря внедрению технологии реконструкции с частотным разделением данных эта модель эффективно решает проблемы переобучения и недостаточного подбора, которые могут возникнуть, когда традиционные модели машинного обучения имеют дело с многомерными данными. В то же время применение механизма внимания позволяет модели CF-LT преодолеть ограничения других моделей, которым сложно установить долгосрочные зависимости между данными при составлении долгосрочных прогнозов. Результаты прогнозирования показывают, что модель CF-LT достигла коэффициента детерминации (R2) от 0,37 до 0,87 на тестовом наборе данных, что представляет собой значительное улучшение от 0,05 до 0,17 (т.е. от 6% до 85%) по сравнению с контролем. модель. Кроме того, модель CF-LT также показала лучшую производительность прогнозирования пиков.

Абстрактный

Еженедельная газета этой недели расшифровывает статью под названием «Интерпретируемая гибридная модель CEEMDAN-FE-LSTM-transformer для прогнозирования общей концентрации фосфора в поверхностных водах». В этой статье представлена ​​гибридная модель CF-LT, специально предназначенная для прогнозирования TP. Модель инновационно объединяет полную ансамблевую эмпирическую модовую декомпозицию (EMD) с адаптивной обработкой шума, нечетким энтропийным анализом, сетями с долговременной краткосрочной памятью (LSTM) и технологией Transformer. Вводя частотное разделение и реконструкцию данных, CF-LT эффективно решает проблемы переобучения и недообучения, с которыми часто сталкиваются традиционные модели машинного обучения при работе с данными высокой размерности. Кроме того, применение механизма внимания позволяет CF-LT преодолевать ограничения других моделей при установлении долгосрочных зависимостей между точками данных во время долгосрочных прогнозов. Результаты прогнозирования показывают, что CF-LT достигает коэффициента решения (R2) в диапазоне от 0,37 до 0,87 на тестовых наборах данных, что представляет собой значительное улучшение от 0,05 до 0,17 (или от 6% до 85%) по сравнению с контрольными моделями. Кроме того, CF-LT обеспечивает наилучшую пиковую производительность прогнозирования.

1. Вопрос

Подробнее: Интерпретируемая гибридная модель CEEMDAN-FE-LSTM-transformer для прогнозирования общей концентрации фосфора в поверхностных водах

Автор: Цзефу Яо, Шуай Чен, Сяохун Жуань

выпускать:Журнал гидрологии Том 629, Февраль 2024, 130609

Источник: https://www.sciencedirect.com/science/article/pii/S0022169424000039?via%3Dihub

2. Аннотация

В этой статье предлагается гибридная модель прогнозирования TP. Эта модель (CF-LT) сочетает в себе полностью интегрированную декомпозицию эмпирического режима (EMD) с адаптивным шумом, нечеткой энтропией, длинной кратковременной памятью и трансформатором.Реконструкция частотного разделения данныхВнедрение эффективно решает проблемы переобучения и недостаточного подбора, которые возникали, когда предыдущие модели машинного обучения сталкивались с многомерными данными.механизм внимания Это решает проблему, заключающуюся в том, что эти модели не могут устанавливать долгосрочные зависимости между данными и делать долгосрочные прогнозы. Результаты прогнозирования показывают, что модель CF-LT достигает коэффициента детерминации (R2) 0,37–0,87 на тестовом наборе данных, что на 0,05–0,17 (6–85%) выше, чем у контрольной модели. Более того, модель CF-LT обеспечила лучший прогноз пиков.

3. Структура сети

3.1 CEEMDAN (эмпирическое модовое разложение полностью адаптивного шумового ансамбля)

Являясь передовым методом анализа временных рядов, CEEMDAN эффективно уменьшает проблему наложения режимов, существующую в традиционном EMD, путем добавления адаптивного шума к процессу эмпирического разложения мод (EMD). Он может разложить исходный сигнал на ряд внутренних функций режима (IMF). Каждая IMF представляет различные временные характеристики сигнала, что делает анализ сложных сигналов более интуитивным и точным. В этом исследовании CEEMDAN использовался для обработки ежедневных данных о качестве воды с трех станций мониторинга на озере Тай, разделяя общую концентрацию фосфора и другие параметры качества воды, такие как температура воды, pH, растворенный кислород и т. д., на сигналы в разных частотных диапазонах.

Алгоритм S1: Полная ансамблевая эмпирическая модовая декомпозиция с адаптивным шумом (CEEMDAN)

1. Определить оператор ${Э}_{К}(\sim )$, этот оператор генерирует алгоритм EMD Ктх модель.${в}_{т}^{я}$Установите гауссовский белый шум,$ϵ$коэффициент белого шума,$я$ Индекс для добавления белого шума. EMD используется для разложения данных, и после добавления гауссовского белого шума к исходному сигналу y(t) в соответствии с уравнением (S1), первая компонента внутренней функции режима (IMF) ($\overline{яМФ1}$ ). Первый режим рассчитывается с использованием уравнения (S2).

$${у}^{я}(т)=у(т)+{ϵ}_0{в}^{я}(т)я=1,2,\dots ,н\text{\hspace{1em}(С1)}$$

$${\text{МВФ1}}_{я}={Э}_0({у}^{я}(т))+{р}_1^{я}\overline{\text{МВФ1}}=\frac{1}{н}{\text{МВФ1}}_{я}\text{\hspace{1em}(С2)}$$

2. Рассчитайте остатки первого разложения сигнала, используя уравнение (S3). Добавьте новый белый шум согласно уравнению (S4) и рассчитайте второй компонент IMF (S4).

$${р}_1={у}^{я}(т)-\overline{\text{МВФ1}}\text{\hspace{1em}(С3)}$$

$$\overline{\text{МВФ2}}=\frac{1}{н}\sum _{я=1}^{н}{Э}_1({р}_1+{ϵ}_1{Э}_1({в}^{я}(т)))\text{\hspace{1em}(С4)}$$

3. Повторяйте шаги 1 и 2, пока остаток r_k не станет монотонной функцией. Наконец, примените EMD, чтобы получить серию K-1-го IMF, которая представляет собой исходную композицию серии, например:

$$у(т)=\sum _{л=1}^{К-1}\overline{\text{МВФ1}}+{р}_{К}\text{\hspace{1em}(С5)}$$

3.2 Структура модели CF-LT

Что касается части CEEMDAN-FE, мы сначала делим исходный набор данных на наборы обучающих и тестовых данных, а затем применяем CEEMDAN для разложения каждого объекта в двух наборах данных на несколько функций внутреннего режима (IMF). По близости значений КЭ каждого МВФ они реконструируются на высокочастотную (МВФГ), среднечастотную (МВФМ), низкочастотную (ИМФЛ) и трендовую (ИМФТ) составляющие, отражающие разные аспекты. МВФ.

Для части LSTM-Transformer в кодере и декодере скрытый уровень LSTM заменяется кодированием положения трансформатора, чтобы установить временную зависимость между входными данными. Конкретный процесс расчета выглядит следующим образом (рис. 2а).

1. Входные данные модели состоят из двух входных данных функций. В этом исследовании слой кодера включает температуру воды (WT), pH (PH), растворенный кислород (DO), химическую потребность в кислороде (COD), электропроводность (EC), мутность (TU), аммиачный азот (NH3-N). и данные об общем азоте (TN) в форме временных рядов, полученные за 7 дней до первого момента прогноза. Уровень декодера содержит временные ряды TP за 7 дней до первого момента времени прогнозирования.
2. После прохождения через LSTM и линейный уровни два набора данных объектов передаются на уровень кодера и уровень декодера соответственно.
3. Два подуровня образуют уровень кодера. Многоголовый слой внимания вычисляет матрицу внимания входных объектов, а затем слой прямой связи изменяет размерность данных. Наконец, данные передаются на следующий уровень кодера или декодера.
4. Три подуровня составляют уровень декодера. После того, как замаскированный многоголовый уровень внимания вычисляет матрицу внимания входных признаков, многоголовый уровень внимания устанавливает соединения внимания на основе выходных данных уровня кодера. Уровень прямой связи передает его на следующий уровень декодера или линейный уровень, чтобы получить окончательный результат модели.

3.3 ШАП

SHAP — это метод теории игр для интерпретации результатов любой модели ML.Чтобы определить влияние входных функций на выходные данные модели, входные функции$з=[з1,...,зп]$Что касается обученной модели глубокого обучения F.
$$Ф=ф(з)={\varphi }_0+\sum _{я=1}^{М}{\varphi }_{я}{з}_{я}\text{\hspace{1em}(12)}$$
${\phi }_{я}\in р$Указывает вклад каждой функции в модель, который определяется следующей формулой:
$${\varphi }_{я}(Ф,Икс)=\sum _{з\le Икс}\frac{|з|!(М-|з|-1)!}{М!}[Ф(з)-Ф(з/я)]\text{\hspace{1em}(13)}$$

4. Интерпретация литературы

4.1 Введение

В исследовании предлагается новая модель для прогнозирования концентрации общего фосфора. Модель сочетает в себе технологии CEEM DAN, FE, LSTM и Transformer и использует SHAP для интерпретации результатов модели. Основная цель этого исследования — оценить эффективность предлагаемой модели CEEMDAN-FE-LSTM-Transformer (CF-LT) при прогнозировании концентрации TP на входе в озеро Тай и применить SHAP для интерпретации выходных данных CF-LT. модель. Это должно выявить ключевые факторы, влияющие на концентрацию ТП в регионе, и механизмы их реагирования.

Многомерная декомпозиция данных может создавать большое количество модальных компонентов. Чтобы решить эту проблему, можно объединить нечеткую энтропию (FE), эффективный метод расчета временной сложности, с CEEMDAN. Эта комбинация эффективно восстанавливает разложенные подсигналы CEEMDAN, тем самым уменьшая количество подчастотных моделей.

Модели LSTMTransformer могут фиксировать отношения между несмежными точками времени, сохраняя при этом характеристики временных рядов входных данных.

Модели-трансформеры используют механизмы внимания для выявления корреляций между двумя местоположениями в определенном контексте во время обучения. Это обеспечивает эффективный сбор соответствующих данных и снижает избыточность информации.

4.2 Инновационные точки

Основной вклад этой статьи заключается в четырех аспектах:

1. Предлагаемая модель сочетает в себе модальный анализ с методами глубокого обучения, использует нечеткую энтропию для уменьшения влияния модальной декомпозиции на временную сложность и объединяет LSTM с Transformer для построения долгосрочных и краткосрочных зависимостей в данных.
2. Гибридная модель с использованием LSTM и Transformer будет использоваться для прогнозирования общего TP фосфора, чего не делалось в предыдущих исследованиях.
3. Результаты прогнозирования показывают, что модель CF-LT достигает коэффициента детерминации (R2) 0,37–0,87 на тестовом наборе данных, что на 0,05–0,17 (6–85%) выше, чем у контрольной модели. Более того, модель CF-LT обеспечила лучший прогноз пиков.

4.3 Экспериментальный процесс

набор данных : Бассейн озера Тайху расположен в нижнем течении реки Янцзы, занимает площадь 36 900 квадратных километров, с густой речной сетью и многочисленными озерами. Озеро Тайху — типичное мелководное озеро. Бассейн имеет характеристики влажного климата северной субтропической зоны со среднегодовой температурой 15-17°С и среднегодовым количеством осадков 1181 мм. В этом исследовании использовались данные мониторинга качества воды со станций Яосянцяо, Чжихуган и Гуандуцяо (рисунок S2). Эти станции мониторинга расположены в Тайхукоу, ключевом национальном участке оценки качества воды. Данные предоставлены Центром экологического мониторинга провинции Цзянсу.

Критерии оценки : Оценка производительности модели использует несколько ключевых показателей: коэффициент детерминации (R²), среднеквадратическую ошибку (MSE) и среднюю абсолютную процентную ошибку (MAPE). R² измеряет степень соответствия между прогнозируемым значением модели и фактическим значением. Значение, близкое к 1, указывает на то, что модель имеет высокую способность прогнозирования; MSE измеряет сумму квадратов ошибки прогнозирования. MAPE отражает размер ошибки прогноза в процентном отношении. Значение «Нижнее» означает более точные прогнозы.

Детали реализации : Экспериментальный процесс включает предварительную обработку данных, обучение и тестирование модели. Установлена ​​полная экспериментальная процедура для оценки эффективности предлагаемой модели на различных наборах данных и временных окнах прогнозирования. Во-первых, данные предварительно обрабатываются методом CEEMDAN-FE, который устраняет информационную интерференцию за счет добавления полностью интегрированного разложения по эмпирическим модам с адаптивным шумом, извлекает многомасштабную информацию и использует нечеткую энтропию для уменьшения количества субсигналов. Далее обработанные данные делятся на обучающую и тестовую выборку в пропорциях 75% и 25%. На этапе обучения предварительно обработанный набор обучающих данных вводится в модель LSTM-Transformer. Используйте обратное распространение ошибки и оптимизатор Адама для обновления весов модели, а также используйте поиск по сетке для определения лучших гиперпараметров модуля LSTMTransformer, чтобы обеспечить оптимальную производительность модели в различных временных окнах прогнозирования (7 дней, 5 дней, 3 дня, 1 день).

Результаты эксперимента : Применяя лучшую обучающую модель к набору тестовых данных, в таблице суммируются прогнозы концентрации TP, данные моделями CF-LT, LSTM, Transformer, CF-L и CF-T на разных участках и в разных временных окнах прогнозирования. Предложенная модель CF-LT дает наилучшие результаты по всем трем показателям оценки. Что касается R2, ​​модель CF-LT находится в диапазоне от 0,37 до 0,87, тогда как следующие лучшие модели CF-L и CF-T составляют 0,32-0,84 и 0,35-0,86 соответственно. Это показывает, что сочетание долговременной памяти LSTM с механизмом внимания Transformer может повысить точность прогнозирования. При сравнении худших моделей LSTM и Transformer с моделями CF-L и CF-T MAPE колеблется от 8,94%-20,62% (LSTM) и 8,91%-18,73% (Transformer) до 8,29%-19,56% (CF-L). и 7,82%-17,55% (CF-T). Эти результаты демонстрируют, что декомпозиция данных и моделирование с частотным разделением значительно повышают точность прогнозирования за счет сбора большего количества информации, скрытой в исходных данных.

Прогнозирование факторов, влияющих на концентрацию общего фосфора ТФ：

Среднее абсолютное значение SHAP (MASV) используется для количественной оценки вклада входных характеристик (WT, PH, DO, COD, EC, TU, TN, NH3-N, TP) в результаты прогнозирования TP. Чем больше MASV, тем больше. большее влияние на результаты прогнозирования модели. Чем больше. Исследования показывают, что в дополнение к самим прошлым рядам концентраций TP, общий азот (TN) и мутность (TU) являются двумя основными факторами, влияющими на прогнозирование TP. Это показывает, что на изменения TP не только напрямую влияют исторические концентрации, но они также тесно связаны с динамикой роста водорослей, связанной с выбросами загрязнения из неточечных источников и соотношением азота и фосфора в водоеме. В частности, значительная корреляция между TN и TP подчеркивает эффект связи этих двух факторов в круговороте питательных веществ в озере и подчеркивает важность поступления азота из неточечных источников для прогнозирования концентрации фосфора.

По этим результатам можно сделать следующие наблюдения:

• С точки зрения показателей справедливости многие существующие GNN плохо работают по сравнению с моделями MLP на всех трех наборах данных. Например, в наборе данных Pokec-z демографический паритет MLP на 32,64%, 50,46%, 66,53% и 58,72% ниже, чем GAT, GCN, SGC и APPNP. Более высокая погрешность прогнозирования возникает из-за агрегирования в одних и тех же узлах чувствительных атрибутов и топологической погрешности в данных графа.
• FMP последовательно достигает наименьшей систематической ошибки прогнозирования с точки зрения равенства населения и равенства возможностей во всех наборах данных. В частности, FMP снижает демографический паритет на 49,69%, 56,86% и 5,97% по сравнению с самым низким смещением среди всех базовых показателей в наборах данных Pokecz, Pokec-n и NBA. В то же время FMP достигает наилучшей точности в наборе данных NBA и сопоставимой точности в наборах данных Pokec-z и Pokec-n. Короче говоря, предлагаемый FMP может эффективно смягчить предвзятость прогноза, сохраняя при этом производительность прогнозирования.

Сравнение с состязательным смещением и регуляризацией : Случайное разделение 50%/25%/25% для наборов данных обучения, проверки и тестирования. На рисунке 2 показаны оптимальные по Парето кривые для всех методов, где нижняя правая угловая точка представляет идеальную производительность (наивысшую точность и наименьшее отклонение прогноза).

5. Вывод

Гибридная модель CF-LT, предложенная в этой статье, объединяет модули CEEM DAN, FE, LSTM и Transformer для прогнозирования концентрации TP в поверхностных водах. Этот гибридный подход решает недостатки переоснащения и недостаточного подбора модели, вызванные многомерными данными и невозможностью установить долгосрочные зависимости между данными при составлении долгосрочных прогнозов. Кроме того, значения SHAP используются для интерпретации результатов модели CF-LT.

Модель использует данные трех станций мониторинга качества воды в бассейне озера Тайху для вывода 9 показателей качества воды в различных временных окнах прогнозирования. В качестве моделей управления используются алгоритмы LSTM, Transformer, CF-L и CF-T. Модель CF-LT имеет значение R2 0,37–0,87, значение MSE 0,34 × 10–3–1,46 × 10–3 и значение MAPE 7,88–17,63% в наборе тестовых данных, что указывает на то, что все три показатели лучше, чем результаты LSTM, Transformer, CF-L и CF-T. Предложенная модель CF-LT также дала лучшие результаты прогнозирования пиков. Основываясь на интерпретации SHAP, мы обнаружили, что TU и TN (исключая ранние временные ряды концентрации TP) являются важными факторами, влияющими на прогнозирование TP, что указывает на то, что изменения TP не только связаны с ранними уровнями концентрации TP, но также зависят от TP. концентрация. Взаимосвязь между выбросами загрязнения из неточечных источников и водными растениями в устье озера Тайху. Кроме того, стоит отметить, что TN и TU больше способствуют прогнозу концентрации ТП в сезон дождей. Таким образом, результаты этого исследования показывают, что модель CF-LT предоставляет дополнительную информацию для понимания механизма реакции TP при изменении различных условий окружающей среды.

6. Воспроизведение кода

Предварительная обработка данных CEEMDAN и FE

def ceemdan_fe_preprocessing(data):
    # CEEMDAN分解
    imfs, residue = ceemdan(data, **ceemdan_params)
    
    # 计算各个IMF的模糊熵
    fe_values = []
    for imf in imfs:
        fe_values.append(fuzzy_entropy(imf)) # 假定fuzzy_entropy为计算模糊熵的函数
    
    # 根据FE值重组IMFs
    imfs_sorted = [imf for _, imf in sorted(zip(fe_values, imfs))]
    imf_hf, imf_mf, imf_lf, imf_trend = imfs_sorted[:4], imfs_sorted[4:8], imfs_sorted[8:12], imfs_sorted[12:]
    return np.concatenate((imf_hf, imf_mf, imf_lf, imf_trend), axis=1)
 
# 应用到数据上
preprocessed_data = ceemdan_fe_preprocessing(original_data)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

LSTM&Трансформатор

def get_positional_encoding(max_len, d_model):
    pe = np.zeros((max_len, d_model))
    position = np.arange(0, max_len).reshape(-1, 1)
    div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
    pe[:, 0::2] = np.sin(position * div_term)
    pe[:, 1::2] = np.cos(position * div_term)
    return pe
 
def transformer_encoder(inputs, d_model, num_heads, ff_dim):
    x = MultiHeadAttention(num_heads=num_heads, key_dim=d_model)(inputs, inputs)
    x = LayerNormalization()(Add()([inputs, x]))
    x = Dense(ff_dim, activation='relu')(x)
    x = Dense(d_model)(x)
    x = LayerNormalization()(Add()([inputs, x]))
    return x
 
def transformer_decoder(inputs, encoder_outputs, d_model, num_heads, ff_dim):
    return decoder_output
 
input_features = Input(shape=(input_shape))
lstm_out = LSTM(lstm_units)(input_features) # LSTM
 
pos_encodings = get_positional_encoding(max_seq_length, d_model)
 
transformer_in = Add()([lstm_out, pos_encodings])
transformer_encoded = transformer_encoder(transformer_in, d_model, num_heads, ff_dim)
 
decoder_output = transformer_decoder(decoder_input, transformer_encoded, d_model, num_heads, ff_dim)
 
output_layer = Dense(output_dim, activation='linear')(decoder_output)
model = Model(inputs=input_features, outputs=output_layer)
 
model.compile(optimizer=Adam(learning_rate), loss='mse')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

краткое содержание

В этом исследовании была разработана интерпретируемая гибридная модель CEEMDAN-FE-LSTM-Transformer для прогнозирования общей концентрации фосфора в поверхностных водах. Модель значительно повысила точность прогноза за счет сочетания передовых технологий предварительной обработки данных и моделей глубокого обучения, а также обеспечивает четкое объяснение функций. через ШАП. Результаты экспериментов подтвердили эффективность модели, особенно при выявлении ключевых факторов окружающей среды, что представляет собой мощный инструмент для управления эвтрофикацией водных объектов и контроля загрязнения.

Рекомендации

[1] Журнал гидрологии Том 629, Февраль 2024, 130609