范伟为量子位做出贡献 |公众号QbitAI

简单的过滤器可以在不使用 Transformer 的情况下提高时间序列预测的准确性。

FilterNet是由国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等机构的团队提出的。

目前已被 NeurlPS 2024 接受。

时间序列的准确预测在能源、气象、医疗等领域非常重要。

目前最流行的预测模型之一是基于 Transformer 网络构建的。

不过，Transformer也不是万能的，尤其是对于时间序列预测这样的问题，它的结构有点过于复杂。

以iTransformer模型为例，其存在对高频信号响应较弱等诸多问题，导致全频信息利用有限，计算效率低下。这些问题都会极大地影响模型的预测精度。

那么，FilterNet有哪些创新呢？

研究动机：现有模型架构中频段信息的利用存在瓶颈。

时间序列信号往往由不同频段的信号组成。为了探索现有模型是否能够准确捕捉频域信号，团队设计了一个简单的仿真验证实验。

首先，他们使用低频、中频和高频分量合成的信号作为实验数据（见图1（a））来测试时序模型的预测性能。从图 1(b) 可以看出，当前最先进的时间序列预测模型 iTransformer 的性能很差。

这表明，即使对于由三个不同频率分量组成的简单信号，当前先进的基于Transformer的模型仍然无法完全学习相应的频谱信息。

相比之下，在传统的信号处理领域，简单的频率滤波器具有许多优异的性能，例如频率选择性、信号调制和多速率处理。这些功能预计将显着提高模型在时间序列预测中提取关键信息频率模式的能力。

因此，受到信号处理中滤波过程的启发，研究团队针对时间序列预测任务提出了一种非常简单高效的学习框架——FilterNet。

研究方法：FilterNet（FilterNet）

FilterNet的设计极其简单，整体框架如下图所示：

FilterNet的核心模块是频率滤波器模块（Frequency Filter Block），其中包括团队设计的两类可学习滤波器：

1.Plain Shaping Filter：使用最简单且可学习的频率滤波器来模拟信号滤波与时间之间的关系。

2.上下文整形滤波器：利用滤波后的频率与原始输入信号之间的兼容性来学习依赖关系。

具体来说，FilterNet的各个组件是：

1.实例标准化

时间序列数据通常是在较长的时间跨度内收集的，这些非平稳序列不可避免地使预测模型面临时变的分布变化。与许多时间序列预测模型一样，团队使用可逆的实例归一化（Instance Normalization），如下所示：

2. 频率滤波器块

时间序列预测器可以被视为捕获关键信号。一定程度上也可以看作是在频域进行滤波处理。

基于此，研究人员直接设计了一个过滤模块来对对应关系进行建模，具体为：

文章中包含两种类型的过滤器，即普通整形过滤器（PaiFilter）和上下文整形过滤器（TexFilter）。 PaiFilter直接通过初始化一个权重参数来模拟相应的滤波器，具体为：

相应的，TexFilter通过可学习的神经网络生成相应的滤波器，并完成相应滤波器的学习，具体为：

3.前馈网络

频率滤波器模块对时间序列数据中的一些主要时间依赖性进行建模，然后利用前馈神经网络（Feed-Forward Network）建立这些时间依赖性与未来τ次数据之间的关系，最终使得预测和预测 预测值都是非规范化的。

FilterNet在各种场景下表现优异

1. 预测结果

在8个时间序列预测基准数据集上进行了广泛的实验测试，结果表明，与最新的预测算法相比，FilterNet模型在不同的预测场景中表现出优越的性能。

其中，PaiFilter 在小数据集（变量数量较少，如 ETT 和 Exchange 数据集）上表现较好，而 TexFilter 在大数据集（变量数量较多且关系较复杂，如 Traffic）上表现较好和天气数据集）。 ）显示出较强的竞争力。

2. 频率滤波器的可视化

图7是学习到的滤波器的频率响应特性的可视化图表，表明FilterNet具有全频段信号处理能力。

此外，如图8所示，在ETTm1数据集上针对不同预测长度进行的可视化实验进一步证明了FilterNet强大的处理能力。

3. 预测结果可视化

与其他最先进的模型相比，FilterNet 在预测未来序列变化方面表现出了出色的准确性，充分展示了其优越的性能。

4.效率分析

团队还在两个不同的数据集上对 FilterNet 进行了相应的效率分析实验。实验结果表明，无论数据集大小如何，FilterNet 都表现出比 Transformer 方法更高的效率。

虽然 FilterNet 在每 epoch 的训练时间上比 DLinear 稍差，但 FilterNet 的效果比 DLinear 更好。

为时间序列预测提供新思路

本文是首次尝试直接将频率滤波器应用于时间序列预测。从信号处理的角度来看，这是一个非常有趣的新想法。

研究团队提出了一种简单高效的架构——FilterNet，该架构基于他们设计的两类频率滤波器来实现预测目标。对八个基准数据集的综合实验证明了 FilterNet 在有效性和效率方面的优越性。

此外，团队成员还对FilterNet及其内部过滤器进行了详细、深入的模型分析，展示了其许多优秀的特性。

他们表示希望这项工作能够激发更多的研究，将信号处理技术或滤波过程与深度学习相结合，以改进时间序列建模和准确预测。

论文链接：

代码存储库：