Oct, 2023

PrACTiS: 基于感知与注意力的时间序列联合模型

PDF
TL;DR本研究通过将感知机制与 copula 结构相结合，提出了一种模型，以增强时间序列预测。通过将感知机作为编码器，我们将复杂的、高维度、多模态数据有效地转化为紧凑的潜在空间，从而大大降低计算要求。我们进一步引入中点推断和局部注意机制来降低复杂度，使模型能够有效地捕捉缺失样本中的依赖关系。随后，我们部署基于 copula 的注意机制和输出方差测试机制，捕捉缺失数据的联合分布，并在预测过程中减轻错误传播。在单模态和多模态基准测试中，我们的实验结果显示，相对于现有方法，我们的模型在节约了一半内存资源的同时，保持了持续 20% 的改进。
transformerscopula structurestime series predictionperceiver architecturetime-series forecasting
发现论文，激发创造
  • TACTiS: 用于时间序列的 Transformer-Attentional Copulas

    本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

    Feb, 2022

  • TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布

    多元概率时间序列预测的新模型引入了 copula 理论，提出了基于 transformer 的简化目标函数 TACTiS，其分布参数数量与变量数量成线性关系。新目标函数引入了训练计划，并对原始架构进行必要的改变。结果表明，该模型在各种真实世界预测任务中具有显著改进的训练动力学，并实现了最先进的性能，同时保持了如处理不对齐和采样不均匀的时间序列等先前工作的灵活性。

    Oct, 2023

  • Perceiver AR 实现的通用、长上下文自回归建模

    使用跨注意力机制构建了 Perceiver AR 机器学习模型，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。

    Feb, 2022

  • 带迭代注意力的通用感知器

    本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

    Mar, 2021

  • Perceiver-VL: 迭代潜在注意力的高效视觉语言建模

    Perceiver-VL 是一个高效处理大量视觉和语言输入的框架，采用迭代潜在跨注意力技术，具有线性可扩展性和高效性，并在保持其竞争力能力的同时，在各种基准测试中取得最佳结果。

    Nov, 2022

  • 快速视觉感知的动态查询选择

    本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。

    May, 2022

  • 变量时间序列变压器中的关联注意力

    我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

    Nov, 2023

  • 多智能体协同感知的注意力特征融合

    本研究提出了一种基于注意力机制的图形卷积网络作为中间的协作感知解决方案，通过该方法实现了信息聚合并提高了物体检测精度，同时减少了网络资源的使用，有效地解决了智能交通系统中的协作感知问题。

    May, 2023

  • Perceiver-Actor: 用于机器人操纵的多任务 Transformer

    使用 Perceiver Transformer 的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和 3D ConvNet 基准。

    Sep, 2022

  • 通过共线受限注意力解决 Transformer 的头痛问题

    我们的研究发现了 Transformer 模型中一个被忽视的异常行为，称之为 “Transformers 的头痛”，并引入了一种名为 Collinear Constrained Attention (CoCA) 的新型自注意结构，以解决该问题，并实现优秀的外推性能，同时提高了 CoCA 的计算和空间效率。

    Sep, 2023