Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

#AIsummercamp#Datawhale #summercamp

1. Pengenalan kompetisi

Dengan pesatnya perkembangan ekonomi global dan percepatan urbanisasi, sistem ketenagalistrikan menghadapi tantangan yang semakin besar. Perkiraan permintaan listrik yang akurat sangat penting untuk stabilitas pengoperasian jaringan listrik, manajemen energi yang efektif, dan integrasi sumber energi terbarukan.

2. Tugas acara

Mengingat data urutan yang relevan dan informasi lain dari N hari riwayat konsumsi listrik yang terkait dengan beberapa rumah, prediksi konsumsi listrik yang terkait dengan rumah-rumah tersebut.

Kompetisi Pengembang AI iFLYTEK 2024-Platform Terbuka iFLYTEK  

3.Tugas2: Lightgbm tingkat lanjut, mulai rekayasa fitur

(1) Impor modul:Bagian ini berisi modul-modul yang dibutuhkan oleh kode

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')

(2) Persiapan data

Pada tahap persiapan data, data latih dan data uji sebagian besar dibaca, dan data dasar ditampilkan.

train = pd.read_csv('./data/train.csv')
test = pd.read_csv('./data/test.csv')

Pengenalan singkat tentang data: Diantaranya, id adalah ID rumah, dt adalah pengidentifikasi hari, data pelatihan minimum dt adalah 11, dan ID yang berbeda sesuai dengan panjang urutan yang berbeda adalah tipe rumah konsumsi berbagai jenis rumah; targetnya adalah konsumsi daya aktual, yang juga merupakan target prediksi kami untuk kompetisi ini. Berikut ini adalah analisis visual sederhana untuk membantu kita memahami data secara sederhana.

• Histogram target sesuai dengan tipe yang berbeda

import matplotlib.pyplot as plt
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()

• Bagan garis target dengan id 00037f39cf sebagai urutan menurut dt

specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
plt.show()

(3) Rekayasa fitur

Di sini kami terutama membangun fitur terjemahan historis dan fitur statistik jendela, setiap fitur memiliki dasar yang kuat dan dijelaskan secara rinci sebagai berikut:

• Fitur terjemahan sejarah:Informasi tahap sebelumnya diperoleh melalui penerjemahan sejarah; seperti terlihat pada gambar di bawah ini, informasi waktu d-1 dapat diberikan ke waktu d, dan informasi waktu d dapat diberikan ke waktu d+1, sehingga dapat diwujudkan. konstruksi fitur satu unit terjemahan.

• Karakteristik statistik jendela: Statistik jendela dapat membuat ukuran jendela yang berbeda, lalu menghitung informasi mean, maksimum, minimum, median, dan varians berdasarkan rentang jendela, yang dapat mencerminkan perubahan data pada tahap terkini. Seperti ditunjukkan pada gambar di bawah, informasi dari tiga satuan waktu sebelum momen d dapat dikonstruksi secara statistik untuk menghasilkan momen d.

  # 合并训练数据和测试数据，并进行排序
  data = pd.concat([test, train], axis=0, ignore_index=True)
  data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)
   
  # 历史平移
  for i in range(10,30):
      data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
      
  # 窗口统计
  data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3
   
  # 进行数据切分
  train = data[data.target.notnull()].reset_index(drop=True)
  test = data[data.target.isnull()].reset_index(drop=True)
   
  # 确定输入特征
  train_cols = [f for f in data.columns if f not in ['id','target']]
  

  4) Pelatihan model dan prediksi set pengujian

  Memilih untuk menggunakan model Lightgbm biasanya digunakan sebagai model dasar dalam kompetisi penambangan data. Model ini dapat memperoleh skor yang relatif stabil tanpa memerlukan penyesuaian parameter proses. Selain itu, perlu diperhatikan bahwa konstruksi set pelatihan dan set verifikasi, karena data memiliki hubungan deret waktu, dibagi secara ketat menurut deret waktu. Di sini, kumpulan data pelatihan asli dt adalah 30 sebagai pelatihan data, dan data sebelumnya digunakan sebagai data verifikasi, hal ini memastikan tidak ada masalah persilangan dalam data (data masa depan tidak digunakan untuk memprediksi data historis).

def time_model(clf, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
    # 构建模型输入数据
    train_matrix = clf.Dataset(trn_x, label=trn_y)
    valid_matrix = clf.Dataset(val_x, label=val_y)
    # lightgbm参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread' : 16,
        'verbose' : -1,
    }
    # 训练模型
    model = clf.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 离线分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)
       
    return val_pred, test_pred
    
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)
 
# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)

mendapatkanPecahan.

4. Lanjutan

Pentingnya rekayasa fitur sudah jelas

Saya menambahkan beberapa fitur lagi, saya dapat menambahkan lebih banyak lagi, tetapi colab tidak memiliki cukup memori.

Ada jutaan data, dan tidak ada cara untuk menambahkan lebih banyak fitur. Mari kita lihat cara mengoptimalkannya nanti.