Oct, 2023

时序预测变压器的校准：检测和适应基于情境的分布偏移

PDF
TL;DR近年来，我们见证了将 Transformers 引入时间序列预测的成功。我们在数据生成的角度上阐述了现有的 Transformers 对于由时间上下文驱动的分布变化容易受到影响，不论是已观测到还是未观测到的。本文介绍了一种普适的校准方法，用于检测和调整训练过的 Transformer 模型中的上下文驱动分布变化。我们提出了一种新颖的 CDS 检测器 ——“基于残差的 CDS 检测器” 或 “Reconditionor”，通过评估预测残差与其对应上下文之间的互信息，量化模型对于 CDS 的脆弱性。高 Reconditionor 分数表示严重易受影响，因此需要模型调整。在这种情况下，我们提出了一个简单但有效的模型校准框架 ——“样本级上下文适配器” 或 “SOLID”。该框架涉及对于提供的测试样本进行上下文相似数据集的策划，并通过有限步骤对模型的预测层进行微调。我们的理论分析表明，该调整策略能够在偏差和方差之间实现最佳平衡。值得注意的是，我们提出的 Reconditionor 和 SOLID 适用于各种 Transformers，并且易于调整。大量实验证明 SOLID 持续增强了当前真实世界数据集上最先进的 Transformers 的性能，特别是在由提出的 Reconditionor 检测到的具有实质性 CDS 的情况下，从而验证了校准方法的有效性。
transformerstime series forecastingcontext-driven distribution shiftmodel adaptationcalibration approach
发现论文，激发创造
  • 面向实际场景的失真感知变化检测

    我们提出了一种可重复使用的自监督框架，用于处理变时地几何畸变问题，通过单阶段预训练可以改善变时地几何畸变，并提升变化检测的性能。

    Jan, 2024

  • 远程感知图像变化检测与 Transformer

    介绍了一种基于双时相图像转换器的新颖的深度学习框架，用于高分辨率遥感图像变化检测，该框架通过对空时时域内的上下文进行编码来优化特征提取，实现更快速，更准确的目标检测，相对于现有的基于注意力机制的方法，本文提出的方法在提高准确性的同时，可以节省更多的计算成本。

    Feb, 2021

  • 使用从头开始训练的 Transformer 进行遥感变化检测

    本文提出了一种全新的变化检测方法，采用转换器进行从头开始训练，并在四个公共基准测试中实现了最先进的性能。该方法使用一种混洗的稀疏注意力操作来捕获 CD 数据的固有特征，并介绍了一种改变增强的特征融合模块来提高相关语义变化，同时抑制噪声。

    Apr, 2023

  • 解决在线时间序列预测中的概念漂移问题：检测然后适应

    在线更新时间序列预测模型针对概念漂移通过基于流数据调整预测模型来解决挑战。我们提出了一种新颖的方法 D3A，首先检测概念漂移，然后在检测到漂移后积极调整当前模型以适应漂移的概念，从而快速适应。通过在现有的训练样例中引入高斯噪声的数据增强策略，我们提出了一种最大程度利用历史数据进行模型适应的方法。我们的实证研究跨越六个数据集，证明了 D3A 在提高模型适应能力方面的有效性。与简单的时间卷积网络（TCN）基准相比，D3A 将均方误差（MSE）平均降低了 43.9%。对于最先进的模型，MSE 降低了 33.3%。

    Mar, 2024

  • 深入探究上下文学习在分布偏移下的应用

    通过在不断变化的数据分布下比较转换器和基于集合的 Multi-Layer 感知机的表现，研究了上下文学习的一些普遍限制，发现转换器模型更准确地模拟了最小二乘法的性能，并且对于轻微的分布移位更具有鲁棒性，但在严重分布移位的情况下，两个模型的上下文学习能力都会减弱。

    May, 2023

  • 上下文时间序列预测器

    近期基于 Transformer 的大型语言模型展示了在提供的上下文情况下学习各种函数的能力，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测问题，我们将 “时间序列预测任务” 重新构建为输入令牌，通过生成一系列（回顾，未来）对。该方法更加符合内在的上下文机制，并且在不使用预训练的大型语言模型参数的情况下更加参数高效。此外，它解决了现有基于 Transformer 的时间序列预测模型中的过拟合等问题，并在完整数据、少样本和零样本设置下始终比以前的架构表现更好。

    May, 2024

  • CCDSReFormer: 基于交叉双流增强校正变压器模型的交通流预测

    精确、高效的交通预测对于智能交通系统至关重要，在城市交通规划和管理中具有重要意义。我们介绍了 Criss-Crossed Dual-Stream Enhanced Rectified Transformer 模型（CCDSReFormer），该模型通过 Enhanced Rectified Spatial Self-attention（ReSSA）、Enhanced Rectified Delay Aware Self-attention（ReDASA）和 Enhanced Rectified Temporal Self-attention（ReTSA）三个创新模块，旨在降低计算需求、更好地理解交通动态，并通过独特的学习方法融合空间和时间的见解。对六个真实数据集的广泛测试显示 CCDSReFormer 具有更优越的性能，消融研究也证实了每个组件对模型预测准确性的显著影响，展示了我们模型有效预测交通流量的能力。

    Mar, 2024

  • UCDFormer：基于 Transformer 驱动的图像翻译的无监督变化检测

    本研究提出了一种基于领域转换的无监督遥感图像变化检测方法 UCDFormer，通过使用轻量级 Transformer 和特定领域亲和力权重的图像转换来减轻多时相图像中的季节性和风格差异，并通过模糊 C 均值聚类和自适应阈值的伪变化图和可靠像素提取模块选择显著变化 / 未变化的像素位置，以获得二值变化图。实验结果表明 UCDFormer 在处理季节性和风格变化的无监督遥感图像变化检测任务时取得了显著的性能提升，Kappa 系数的性能提升超过了 12%。对于大规模应用的地震引发的滑坡检测，UCDFormer 也取得了出色的性能。

    Aug, 2023

  • 基于转录器的流式语音识别中的自适应上下文偏置

    提出了一个基于上下文感知的变形器转录方法的自适应上下文偏置方法，通过使用有偏的编码器和预测器嵌入来执行流媒体预测，动态地开关偏差列表，以适应个性化和常见情况，实验证明相对于基线，它可以在常见情况下减少 WER 和 CER 达到 6.7％和 20.7％，在个性化情况下对性能影响极小，同时保持快速的推理管道。

    Jun, 2023

  • T-SaS：面向流数据的移动感知动态适应

    在没有任何先兆的情况下，本文旨在解决连续数据建模中突发分布转变的问题。具体而言，我们设计了一个名为 T-SaS 的贝叶斯框架，使用离散分布建模变量捕捉数据的突变。然后，我们设计了一个模型，通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠，采用动态遮罩策略来支持不同分布之间的互相转移。大量实验证明我们的方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。

    Sep, 2023