本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

Feb, 2022

本文介绍了一种基于 Transformer 的 NLP 结构，可以联合识别和提取 (1) 语言描述的变量或因素，(2) 这些变量之间的定性因果关系，(3) 限制这些因果关系的修饰语和数量词，从而在学术出版物、新闻文章和社交媒体等多个用例中展示了这种方法并获得了有前途的结果。

Aug, 2021

本文提出了一种深度神经体系结构，结合经验数据和先前的因果知识，从而学习变量之间的因果关系，并通过卷积和图神经网络在因果风险框架内提供了一种灵活和可扩展的方法，Empirical results include linear and nonlinear simulations (where the underlying causal structures are known and can be directly compared against)，特别的，在生物医学领域的实验验证结果表明，深度学习方法能够应用于学习包含数千个变量的大规模问题中的因果网络

Dec, 2022

通过提取和总结有用的预测信息（由 “因子张量” 表示）并利用张量分解模型将其输入到时间卷积神经网络中，本研究提出了一种因子增强的张量对张量神经网络（FATTNN）。该方法能够处理复杂数据结构之间的非线性关系，并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型，提出的方法在提高预测准确性的同时，大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用，验证了提出方法的实证性能，数值结果表明，与基准方法相比，提出的算法在预测准确性方面取得了显著的增加，并且计算时间显著减少。

May, 2024

通过预测任务和设计的多核因果卷积，CausalFormer 学习时序数据的因果表达，并通过回归相关传播解释训练后的模型全局结构以构建因果图，从而在发现时序因果性方面实现了最先进的性能。

Jun, 2024

我们通过解释 Transformer 架构内部可能发生的内部优化过程，建立了一种元学习视角，从而理解了 Transformer 架构在因果语言建模任务中的训练过程。此外，我们通过实验和对真实数据的理论分析，发现并探索了 Transformer 基于因果语言模型中学习到的标记表示的一种特殊特征。

Oct, 2023

本文提出了一种基于 Transformer 的因果模型，通过特定设计的模型和训练方法，能够准确地对复杂、长期相关和混淆因素进行因果推理并估算出时间序列的反事实结果。

Apr, 2022

提出了一种新的因果关系框架 —— 因果深度学习，这个框架包括三个维度：结构维度、参数维度和时间维度。该框架可以在利用不完整的因果知识的同时，结合多种因果深度学习方法，解决各种实际问题，从而实现真正的实际影响。同时，这个框架还可以让研究人员系统地对现有工作进行比较，并找出有前途的研究领域。

Mar, 2023

本文针对黑匣子神经网络的后续解释方法中仍然存在的困境，提出了在设计神经网络时进行内在可解释性的研究。我们采用一个最近提出的基于实例的因果解释方法，使现有的 Transformer 架构具有内在解释能力。我们在 MNIST、FMNIST 和 CIFAR 三个图像数据集上评估了我们的方法，并证明相比于基于因果关系的后续解释模型，我们的内在可解释模型在提供更好可解释性结果的同时消除了训练单独解释模型的必要。

Jun, 2022

本文研究了 Conditional Variational AutoEncoder（CVAE）生成回答时常常与原问题不相关或缺乏逻辑性的原因，并提出了一种寻找中介变量和缓解对话中混淆偏差的方法。在此基础上，提出了动态话题图引导的条件变分自动编码器（TGG-CVAE）模型，用于补充语义空间并减少响应中混淆偏差。实验证明，所提出的模型能够生成相关且信息量丰富的回答，并在自动评估和人类评估方面优于现有的最先进模型。

Sep, 2022