Обмен технологиями

Машина экстремального обучения Python32 ELM

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

картина

Extreme Learning Machine (ELM) — это простой алгоритм обучения однослойной нейронной сети с прямой связью (SLFN). Теоретически алгоритмы машинного обучения с экстремальным обучением (ELM), как правило, обеспечивают хорошую производительность (принадлежащие алгоритмам машинного обучения) с чрезвычайно высокой скоростью обучения и были предложены Хуангом и др. Основная особенность ELM заключается в том, что его скорость обучения очень высока по сравнению с традиционными методами градиентного спуска (такими как нейронная сеть BP), ELM не требует итерационного процесса. Основной принцип заключается в случайном выборе весов и смещений скрытого слоя, а затем изучении выходных весов путем минимизации ошибки выходного слоя.

картина

имг

Основные шаги алгоритма ELM

  1. Случайно инициализировать веса и смещения, вводимые в скрытый слой.

    • Веса и смещения скрытых слоев генерируются случайным образом и остаются постоянными во время обучения.

  2. Вычислить выходную матрицу скрытого слоя (т.е. результат функции активации)

    • Рассчитайте выходные данные скрытого слоя, используя функцию активации (например, сигмовидную, ReLU и т. д.).

  3. Рассчитать выходной вес

    • Веса от скрытого слоя к выходному слою рассчитываются методом наименьших квадратов.

Математическая формула ELM выглядит следующим образом:

  • Учитывая набор обучающих данных, где,

  • Формула расчета выходной матрицы скрытого слоя:

    • где – входная матрица, – входная матрица весов для скрытого слоя, – вектор смещения и – функция активации.

  • Формула расчета выходного веса:

    • Среди них — обобщенная обратная выходная матрица скрытого слоя и выходная матрица.

Сценарии применения алгоритма ELM

  1. Масштабная обработка наборов данных: ELM хорошо работает при обработке крупномасштабных наборов данных, поскольку его скорость обучения очень высока и подходит для сценариев, требующих быстрого обучения моделей, таких как крупномасштабная классификация изображений, обработка естественного языка и другие задачи.

  2. Прогноз отрасли : ELM имеет широкий спектр применений в области промышленного прогнозирования, например, контроль качества и прогнозирование отказов оборудования в процессах промышленного производства. Он может быстро обучать прогнозные модели и быстро реагировать на данные в реальном времени.

  3. Финансовый сектор : ELM можно использовать для анализа и прогнозирования финансовых данных, таких как прогнозирование цен на акции, управление рисками, кредитный скоринг и т. д. Поскольку финансовые данные обычно многомерны, высокая скорость обучения ELM выгодна для обработки этих данных.

  4. медицинский диагноз : В медицинской сфере ELM можно использовать для таких задач, как прогнозирование заболеваний и анализ медицинских изображений. Он может быстро обучать модели и классифицировать или регрессировать данные пациентов, помогая врачам быстрее и точнее ставить диагнозы.

  5. Интеллектуальная система управления : ELM может использоваться в интеллектуальных системах управления, таких как умные дома, интеллектуальные транспортные системы и т. д. Изучая характеристики и закономерности окружающей среды, ELM может помочь системе принимать разумные решения и повышать эффективность и производительность системы.

Python реализует алгоритм ELM

Мы используемmake_moons Набор данных — игрушечный набор данных, обычно используемый для задач машинного обучения и классификации глубокого обучения. Он генерирует точки, распределенные в виде двух пересекающихся полумесяцев, что идеально подходит для демонстрации производительности и границ решений алгоритмов классификации.

  1. import numpy as np
  2. import matplotlib.pyplot as plt
  3. from sklearn.datasets import make_moons
  4. from sklearn.model_selection import train_test_split
  5. from sklearn.neural_network import MLPClassifier
  6. from sklearn.preprocessing import StandardScaler
  7. from sklearn.metrics import accuracy_score
  8. # 定义极限学习机(ELM)类
  9. class ELM:
  10.     def __init__(self, n_hidden_units):
  11.         # 初始化隐藏层神经元数量
  12.         self.n_hidden_units = n_hidden_units
  13.     def _sigmoid(self, x):
  14.         # 定义Sigmoid激活函数
  15.         return 1 / (1 + np.exp(-x))
  16.     def fit(self, X, y):
  17.         # 随机初始化输入权重
  18.         self.input_weights = np.random.randn(X.shape[1], self.n_hidden_units)
  19.         # 随机初始化偏置
  20.         self.biases = np.random.randn(self.n_hidden_units)
  21.         # 计算隐藏层输出矩阵H
  22.         H = self._sigmoid(np.dot(X, self.input_weights) + self.biases)
  23.         # 计算输出权重
  24.         self.output_weights = np.dot(np.linalg.pinv(H), y)
  25.     def predict(self, X):
  26.         # 计算隐藏层输出矩阵H
  27.         H = self._sigmoid(np.dot(X, self.input_weights) + self.biases)
  28.         # 返回预测结果
  29.         return np.dot(H, self.output_weights)
  30. # 创建数据集并进行预处理
  31. X, y = make_moons(n_samples=1000, noise=0.2random_state=42)
  32. # 将标签转换为二维数组(ELM需要二维数组作为标签)
  33. = y.reshape(-11)
  34. # 标准化数据
  35. scaler = StandardScaler()
  36. X_scaled = scaler.fit_transform(X)
  37. # 拆分训练集和测试集
  38. X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3random_state=42)
  39. # 训练和比较ELM与MLP
  40. # 训练ELM
  41. elm = ELM(n_hidden_units=10)
  42. elm.fit(X_train, y_train)
  43. y_pred_elm = elm.predict(X_test)
  44. # 将预测结果转换为类别标签
  45. y_pred_elm_class = (y_pred_elm > 0.5).astype(int)
  46. # 计算ELM的准确率
  47. accuracy_elm = accuracy_score(y_test, y_pred_elm_class)
  48. # 训练MLP
  49. mlp = MLPClassifier(hidden_layer_sizes=(10,), max_iter=1000random_state=42)
  50. mlp.fit(X_train, y_train.ravel())
  51. # 预测测试集结果
  52. y_pred_mlp = mlp.predict(X_test)
  53. # 计算MLP的准确率
  54. accuracy_mlp = accuracy_score(y_test, y_pred_mlp)
  55. # 打印ELM和MLP的准确率
  56. print(f"ELM Accuracy: {accuracy_elm}")
  57. print(f"MLP Accuracy: {accuracy_mlp}")
  58. # 可视化结果
  59. def plot_decision_boundary(model, X, y, ax, title):
  60.     # 设置绘图范围
  61.     x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
  62.     y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
  63.     # 创建网格
  64.     xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01),
  65.                          np.arange(y_min, y_max, 0.01))
  66.     # 预测网格中的所有点
  67.     Z = model(np.c_[xx.ravel(), yy.ravel()])
  68.     Z = (Z > 0.5).astype(int)
  69.     Z = Z.reshape(xx.shape)
  70.     # 画出决策边界
  71.     ax.contourf(xx, yy, Z, alpha=0.8)
  72.     # 画出数据点
  73.     ax.scatter(X[:, 0], X[:, 1], c=y.ravel(), edgecolors='k', marker='o')
  74.     ax.set_title(title)
  75. # 创建图形
  76. fig, axs = plt.subplots(12, figsize=(125))
  77. # 画出ELM的决策边界
  78. plot_decision_boundary(lambda x: elm.predict(x), X_test, y_test, axs[0], "ELM Decision Boundary")
  79. # 画出MLP的决策边界
  80. plot_decision_boundary(lambda x: mlp.predict(x), X_test, y_test, axs[1], "MLP Decision Boundary")
  81. # 显示图形
  82. plt.show()
  83. # 输出:
  84. '''
  85. ELM Accuracy: 0.9666666666666667
  86. MLP Accuracy: 0.9766666666666667
  87. '''

Визуальный вывод:

картина

Вышеуказанный контент взят из Интернета. Если он вам полезен, перешлите его. Увидимся в следующий раз!