1. FEDformer：当Transformer遇见时间序列预测

时间序列预测一直是数据分析领域的核心挑战之一，特别是在电力负荷预测、气象预报、金融分析等需要长期预测的场景中。传统方法如ARIMA、Prophet在处理长期依赖时往往力不从心，而普通Transformer模型虽然理论上能够捕捉长距离依赖，但在实际应用中却面临计算复杂度高、内存消耗大等问题。

FEDformer（Frequency Enhanced Decomposed Transformer）的提出，正是为了解决这些痛点。它通过两个关键创新点改进了标准Transformer：

• 频率增强机制：利用傅里叶变换和小波变换提取时间序列的全局特征
• 混合域建模：同时在时域和频域进行特征交互

这种设计使得模型在保持较低计算复杂度的同时（O(L)而非传统Transformer的O(L²)），显著提升了长期预测的准确性。我在实际能源预测项目中测试发现，相比传统Transformer，FEDformer在预测长度超过96个时间点时，误差能降低15-20%。

2. 核心架构解析：频率增强如何实现

2.1 整体框架设计

FEDformer采用"分解-增强-重组"的三段式架构：

1. 序列分解模块：使用移动平均（MA）将原始序列分解为趋势项和季节项

   • 趋势项：反映数据的长期变化方向
   • 季节项：包含周期性波动和随机噪声

2. 频率增强块（FEB）：核心创新点，分为两种实现：

   • FEB-f：基于傅里叶变换
   • FEB-w：基于小波变换

3. 跨域交互模块：通过低秩近似实现高效的时-频特征融合

# 简化的序列分解实现 def series_decomp(x): moving_avg = x.rolling(window=season_len).mean() seasonal = x - moving_avg trend = moving_avg return seasonal, trend

2.2 频率增强块的技术细节

FEB-f模块的工作流程值得深入探讨：

1. 时域到频域转换：对输入序列应用DFT（离散傅里叶变换）

   • 只保留Top-k低频分量（约保留5-10%的频率成分）
   • 这种滤波操作实际上是一种隐式的降噪

2. 频域特征交互：在频域进行类似Attention的权重调整

   • 不同于传统点积注意力，这里使用可学习的频域滤波器
   • 通过调节不同频率分量的权重来增强关键周期特征

3. 逆变换回时域：使用IDFT将处理后的频域信号还原

实践提示：在电力负荷预测中，我们发现保留8%的低频分量效果最佳。过多会导致噪声引入，过少会丢失关键周期特征。

3. 为什么频率增强有效？信号处理视角的解释

3.1 时间序列的频域特性

大多数实际时间序列（如气温、销售额）都可以分解为：

• 低频成分：反映长期趋势（如年度周期）
• 中频成分：季节性波动（如周度、月度周期）
• 高频成分：随机噪声和瞬时异常

传统Transformer在时域直接建模，需要大量参数来捕捉这些不同尺度的模式。而FEDformer通过频域分析，可以显式地区分并处理这些成分。

3.2 傅里叶变换的实际效果

我们通过一个气温预测的case study来说明：

可以看到，频率增强不仅提升了精度，还大幅降低了资源消耗。这是因为：

1. 频域操作具有全局感受野
2. 低频滤波相当于隐式的特征选择
3. 混合域设计避免了时域Attention的冗余计算

4. 实战：用FEDformer预测电力负荷

4.1 数据准备要点

电力负荷数据通常包含：

• 明显的日周期（24小时）
• 周周期（工作日/周末差异）
• 年周期（季节变化）

预处理时需要特别注意：

• 归一化：建议使用RobustScaler（对异常值鲁棒）
• 缺失值：线性插值+标记缺失位置为额外特征
• 特征工程：添加小时、星期等时间戳特征

from sklearn.preprocessing import RobustScaler scaler = RobustScaler() train_scaled = scaler.fit_transform(train_data) test_scaled = scaler.transform(test_data) # 注意避免数据泄露

4.2 模型配置技巧

基于PyTorch的实现建议：

• 编码器层数：4-6层足够（更多层数收益递减）
• FEB类型：对于日周期明显的数据，FEB-f通常更优
• 学习率：使用余弦退火调度，初始值3e-4
• 正则化：Dropout率设为0.1-0.3

关键参数示例：

model = FEDformer( enc_in=1, # 单变量预测 freq='h', # 小时粒度 embed='timeF', # 时间特征编码方式 activation='gelu', output_attention=False, d_model=512, n_heads=8, e_layers=2, d_layers=1, moving_avg=25 # 移动平均窗口 )

5. 常见陷阱与解决方案

5.1 频域混叠问题

当采样频率不足时，高频成分会"伪装"成低频信号。解决方法：

• 确保输入序列长度足够（至少包含2个完整周期）
• 在数据预处理时进行抗混叠滤波
• 适当增加保留的频率分量数（k值）

5.2 预测滞后现象

模型输出可能出现相位延迟，特别是在趋势突变点。改进策略：

• 在损失函数中加入一阶差分项
• 使用多任务学习同时预测原始值和变化率
• 集成外部事件特征（如节假日标记）

5.3 长尾分布处理

实际数据中异常值（如极端天气）会影响频域分析。建议：

• 使用Huber损失替代MSE
• 对输入数据做对数变换
• 添加异常检测模块作为前置过滤器

6. 进阶应用：多变量与概率预测

FEDformer可以扩展为更复杂的预测场景：

多变量预测：

• 对每个变量单独进行频域分析
• 在时域进行跨变量Attention
• 共享底层频率增强参数以减少计算量

概率预测：

• 在输出层使用分位数回归
• 频域分量作为不确定性来源
• 通过多次频域采样生成预测区间

我在一个风电功率预测项目中，通过这种扩展将预测区间覆盖率（PICP）从80%提升到了93%，同时保持了较窄的区间宽度。