Coggle 30 Days of ML（23年9月）

发布时间：2023-09-01，作者：阿水, 鱼遇雨欲语与余

## Part1 内容介绍

时序预测在多个领域中都具有重要意义，其中之一是能源消耗的预测。对于能源供应商来说，准确预测客户未来的能源需求至关重要，这有助于优化能源分配、降低运营成本，并确保客户的需求得到满足。本学习内容将深入探讨时序预测的基本原理、方法以及其在能源消耗预测中的应用。

本次活动面向所有时序数据挖掘的爱好者，无论您是学生、研究者、开发者还是企业用户，都欢迎参加本次活动。

本月学习内容包括：

• 了解时间序列数据的趋势、季节性和噪声等特点，以便更好地建模和预测。
• 介绍常见的时序模型，如ARIMA（自回归综合移动平均模型）、LSTM（长短时记忆网络）等，以及它们的工作原理。
• 选择适当的时序模型，并讨论如何使用历史数据进行训练和验证模型的性能。

## Part2 活动安排

• 免费学习活动，不会收取任何费用。
• 请各位同学添加下面微信，并回复【竞赛学习】，即可参与。

## Part3 积分说明和奖励

为了激励各位同学完成的学习任务，在完成学习后（本次活动，截止10月4），将按照积分顺序进行评选 Top3 的学习者。如果打卡积分相同，则按照prompt质量和文本长度进行排序。

打卡地址：https://shimo.im/forms/KhnHlbSODuofrCYu/fill

昵称	T1	T2	T3	T4	T5	T6	T7
wx292371958	✅	✅	✅	✅	✅
围城	✅	✅	✅	✅	✅
Amihua Lau	✅	✅	✅	✅	✅
wxid_o9ridxpn2gk022	✅	✅	✅
Kevin	✅
猫不会笑	✅
Chieh	✅
空灵	✅
Adams	✅
不再蹦哒的蝈蝈	✅
Jack Frost.	✅
言成	✅
每天只吃一口肉	✅
haha	✅
王子星	✅
MYQ.	✅
Юй Ванинь 咸鱼	✅
lrb	✅
蒋鹏	✅
omgver	✅
阿水	✅

### 打卡积分奖励

Top1的学习者将获得以下奖励：

• 50元现金红包
• Coggle 竞赛专访机会

Top2-3的学习者将获得以下奖励：

• 20元红包
• Coggle 竞赛专访机会

历史活动打卡链接，可以参考如下格式：

• https://blog.csdn.net/weixin_42551154/article/details/125474519
• https://blog.csdn.net/weixin_42551154/article/details/125481695

## Part4 时序回归预测

### 背景介绍

智能电表的日益普及意味着供应商可以实时访问所有签约客户的每小时消费值，这位能源消耗的未来预测提供了条件。精准的未来能源消耗预测能够帮助供应商更加合理配置资源，降低运营成本。

本次比赛任务是根据多个客户的历史提取到的电量消耗及区域温度数据，然后通过训练数据训练模型（2019年01月01日00时-2019年12月26日23时），预测多个客户未来5天逐小时（2019年12月27日00时-2019年12月31日23时）的电量消耗（target）。

注：2019年01月01日00时对应的电量消耗为0点-1点的值，2019年12月26日23时对应的则是23点-0点的值。

赛题数据由该数据集包含西班牙499名客户的测量能源消耗499名客户的历史测量能源消耗，以及客户区域外的天气温度数据所构成，根据时间将数据分为训练集和测试集，共包含5个字段，其中target字段为预测目标。

特征字段	字段描述
date	日期字段
id	客户ID标识
type	客户类型（如私人家庭、商店、面包店）
temperature	客户区域的外部温度
target	目标字段，电量消耗值

### 打卡任务

任务名称	所需技能
时序数据分析	Python
时序周期性分析	Python
ACF和PACF可视化	Python
MA、AR、ARMA 模型尝试	Python
LightGBM多元时序预测	Python
使用gluonts中的DeepAR训练和预测	Python
模型集成与权重确定	Python

#### 任务1：时序数据分析

• 任务说明：下载比赛数据集，按照时序维度进行分析数据
• 实践步骤：
  1. 报名并下载比赛数据集：https://challenge.xfyun.cn/topic/info?type=energy-consumption-forecast&ch=vWxQGFU
  2. 使用Pandas读取数据，查看字段的类型和分布。
  3. 选择2名客户绘制历史电量消耗曲线，查看是否存在规律？

#### 任务2：时序周期性分析

• 任务说明：对比赛的数据集进行周期性和波动性分析
• 实践步骤：
  1. 统计客户类型、外部温度与电量消耗值的相关性，并使用合适的方式进行可视化。
  2. 提取日期中的月份和星期信息，按照时间统计时间与电量消耗值的相关性，并使用合适的方式进行可视化。
  3. 使用合适的工具、公式或图表，判断电量消耗值是否存在周期性或波动性。

#### 任务3：ACF和PACF可视化

• 任务说明：使用自相关函数（ACF）和偏自相关函数（PACF）对时序数据进行可视化分析，以帮助确定合适的时序模型。
• 实践步骤：
  1. 计算ACF和PACF： 使用Python中的相应库（如StatsModels或Matplotlib）计算并绘制ACF和PACF图表。
  2. 解释ACF和PACF图表： 分析生成的ACF和PACF图表，了解它们如何描述数据的自相关性和偏自相关性。
  3. 确定模型阶数： 根据ACF和PACF的图表，尝试确定适合时序模型的阶数（如AR、MA、ARMA、ARIMA等）。
  4. 可视化分析结果： 绘制带有标识阶数的ACF和PACF图表，以便清晰地展示模型选择的基础。

#### 任务4：MA、AR、ARMA 模型尝试

• 任务说明：使用MA（移动平均）、AR（自回归）和ARMA（自回归移动平均）模型尝试建模并进行预测，以探索这些经典时序模型在能源消耗预测中的效果。
• 实践步骤：

1. 移动平均模型 (MA):
   • 首先，选择一个客户（例如，随机选择一个客户），提取该客户的电量消耗时间序列数据。
   • 使用MA模型进行建模，可以尝试不同的移动平均阶数，以找到最佳模型。
   • 使用训练数据（2019年01月01日00时-2019年12月26日23时）训练MA模型，并使用其进行未来5天逐小时（2019年12月27日00时-2019年12月31日23时）的电量消耗预测。
   • 评估模型的性能，可以使用均方根误差（RMSE）或其他适当的评估指标来衡量模型的准确性。
2. 自回归模型 (AR):
   • 选择另一个客户，提取其电量消耗时间序列数据。
   • 使用AR模型进行建模，可以尝试不同的自回归阶数，以找到最佳模型。
   • 使用训练数据训练AR模型，并进行未来5天逐小时的电量消耗预测。
   • 同样，评估AR模型的性能。
3. 自回归移动平均模型 (ARMA):
   • 选择第三个客户，提取其电量消耗时间序列数据。
   • 使用ARMA模型进行建模，结合自回归和移动平均的特性，寻找最佳模型。
   • 使用训练数据训练ARMA模型，并进行未来5天逐小时的电量消耗预测。
   • 再次评估ARMA模型的性能。
4. 模型比较与总结:
   • 比较三种模型（MA、AR、ARMA）在不同客户数据上的预测性能，分析它们在能源消耗预测中的优点和限制。
   • 可以绘制预测结果与实际值的对比图表，以直观展示模型的效果。

#### 任务5：LightGBM多元时序预测

• 任务说明：使用LightGBM模型进行多元时序预测，基于历史数据预测多个客户未来5天逐小时的电量消耗。
• 实践步骤：
  1. 数据准备：
     • 划分训练集和测试集：根据提供的时间范围，将数据划分为训练集和测试集。
     • 特征工程：根据任务的要求，选择合适的特征，可能包括日期、客户类型、外部温度等。进行数据预处理，如缺失值处理、标准化等。
  2. 模型选择：LightGBM是一种梯度提升树模型，适用于回归和分类任务。在本任务中，选择LightGBM作为预测模型。
  3. 模型训练：使用训练集数据训练LightGBM模型，以预测多个客户未来5天逐小时的电量消耗。可以将温度、客户类型作为特征输入。
  4. 使用测试集数据对训练好的模型进行评估，计算预测结果与真实值之间的误差指标，如均方根误差（RMSE）或平均绝对误差（MAE）等。

#### 任务6：使用gluonts中的DeepAR训练和预测

• 任务说明：使用GluonTS库中的DeepAR模型对能源消耗数据进行训练和未来5天的预测。
• 实践步骤：
  1. 安装GluonTS库：确保您已经安装了GluonTS库，如果没有安装，可以使用以下命令进行安装：

  pip install gluonts
  

  2. 数据预处理：将比赛数据集准备成GluonTS所需的数据格式，包括时序数据集和测试数据集。
  3. 导入DeepAR模型：从GluonTS库中导入DeepAR模型。
  4. 训练DeepAR模型：使用训练数据训练DeepAR模型，可以根据需要调整模型的超参数。
  5. 进行未来5天的电量消耗预测：使用训练好的DeepAR模型对未来5天逐小时的电量消耗进行预测。

#### 任务7：模型集成与权重确定

• 任务说明：在能源消耗预测任务中，模型集成是提高预测精度的有效策略之一。在本任务中，我们将探讨如何使用模型集成来提高预测性能，并确定不同模型的权重以优化集成结果。
• 实践步骤：
  1. 模型选择与训练：首先，选择多个合适的时序预测模型，例如ARIMA、LSTM、Prophet等。使用训练数据（2019年01月01日00时-2019年12月26日23时）对这些模型进行训练，以分别得到它们的预测结果。
  2. 划分验证集：从训练数据中划分出一个验证集，用于评估每个单独模型的性能。这将帮助确定哪些模型表现更好。
  3. 模型评估：对每个单独模型在验证集上的性能进行评估，通常使用指标如均方根误差（RMSE）、平均绝对误差（MAE）等来衡量预测精度。
  4. 模型集成方法：选择一种模型集成方法，如加权平均、堆叠模型等。常见的集成方法包括平均法、投票法和加权法。