Jun, 2024

因果 Transformer: 时间因果发现的可解释 Transformer

PDF
TL;DR通过预测任务和设计的多核因果卷积，CausalFormer 学习时序数据的因果表达，并通过回归相关传播解释训练后的模型全局结构以构建因果图，从而在发现时序因果性方面实现了最先进的性能。
发现论文，激发创造
  • 因果视角重新思考时间序列分析

    Caformer 是一种从因果性角度进行时间序列分析的新框架，该框架包括动态学习器、环境学习器和依赖关系学习器，能够有效地捕捉跨维度和跨时间的依赖关系，并解决环境因素引起的伪相关问题。该方法在长期和短期预测、补全、分类和异常检测等五个主流时间序列分析任务中表现出一致的最先进性能和合适的解释性。

    Mar, 2024

  • AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

    论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。

    Mar, 2021

  • 用因果 Transformer 估计反事实结果

    本文提出了一种基于 Transformer 的因果模型，通过特定设计的模型和训练方法，能够准确地对复杂、长期相关和混淆因素进行因果推理并估算出时间序列的反事实结果。

    Apr, 2022

  • ASFormer：用于动作分割的 Transformer

    本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。

    Oct, 2021

  • 因果深度学习：因果胶囊和张量转换器

    使用因子分析导出一组因果深度神经网络，包括神经元组成的因果胶囊和张量变换器，适用于前向和反向因果问题，以及可能的异步并行计算。

    Jan, 2023

  • 拥抱黑箱：走向基于时间序列数据的因果发现基础模型

    Causal Pretraining explores supervised learning to discover causal relationships from time series data, demonstrating that performance increases with data and model size and suggesting the potential for a foundation model for causal discovery.

    Feb, 2024

  • SageFormer：基于序列图强化变压器的多变量时间序列预测

    本研究介绍了一种基于图结构的序列感知增强变压器模型 SageFormer，用于有效地捕捉和建模系列之间的依赖关系，并通过真实世界和合成数据集的广泛实验展示其优越性。

    Jul, 2023

  • BayesFormer：具有不确定性估计的 Transformer 模型

    介绍了一种名为 BayesFormer 的基于 Bayesian theory 设计的 Transformer 模型，该模型利用变分推断中的 dropout 扩展到 Transformer-based architectures，通过多种实验在自然语言处理、机器翻译、长序列理解和主动学习等领域展现出了卓越的性能。

    Jun, 2022

  • 基于 Transformer 的方法：从非结构化文本到因果知识图谱

    本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

    Feb, 2022

  • ContiFormer：用于不规则时间序列建模的连续时间 Transformer

    ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型，将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合，具有优越的建模能力和对于不规则时间序列数据的预测性能。

    Feb, 2024