Nov, 2023

通过因果发现和领域知识融合提升神经网络性能

HTML
PDF
TL;DR我们提出了一种名为因果感知神经网络（CINN）的通用方法，用于将观测变量之间的层次化因果结构编码到神经网络中，从而提高其预测性能。通过将因果性结构化知识映射到神经网络的逐层设计中，CINN通过连续优化问题将因果关系发现转化为定向无环图（DAG）学习来系统地从观测数据中发现因果关系，并通过专用架构和定制的损失函数将发现的层次化因果结构编码到神经网络中，实现了中间节点和叶节点的联合学习，显著提高了预测性能。
发现论文，激发创造
  • 用多余输入的神经网络学习潜在因果结构

    本文介绍了一种基于深度学习的RINN模型，通过直接连接输入和潜在变量，使用修改后的结构和正则化目标函数来解决在高维数据中学习到潜在变量间因果结构的问题，并在模拟实验中验证了该方法的有效性。

    Mar, 2020

  • 使用主动干预的神经因果模型学习

    介绍了一种基于AIT的方法，可快速识别数据生成过程的基础因果结构。该方法可用于离散和连续优化公式，并在模拟到实际数据的多个基准测试中表现出卓越的性能。(Translation: An AIT-based method is introduced to quickly identify the underlying causal structure of the data-generating process, which is applicable for both discrete and continuous optimization formulations of learning the underlying directed acyclic graph from data, and demonstrates superior performance on multiple benchmarks from simulated to real-world data.)

    Sep, 2021

  • 将图神经网络与结构因果模型相关联

    本文通过建立结构性因果模型和应用图神经网络模型，提出了一种新的因果推断方法，并证明了该方法可以用于因果效果辨识。

    Sep, 2021

  • 前馈神经网络的因果发现和注入

    本文通过向前馈神经网络注入潜在的因果关系，以保证神经网络模型符合专家知识，从而提高模型在发现因果关系和预测性能方面的鲁棒性和精度。

    May, 2022

  • 高维因果结构的深度学习

    本文提出了一种深度神经体系结构，结合经验数据和先前的因果知识，从而学习变量之间的因果关系，并通过卷积和图神经网络在因果风险框架内提供了一种灵活和可扩展的方法，Empirical results include linear and nonlinear simulations (where the underlying causal structures are known and can be directly compared against)，特别的，在生物医学领域的实验验证结果表明，深度学习方法能够应用于学习包含数千个变量的大规模问题中的因果网络

    Dec, 2022

  • 层次图神经网络用于因果发现和根因定位

    该论文提出了一种名为REASON的框架，用于自动发现根本原因局部层次（即网络内部）和全局层次（即跨网络）的因果关系，通过建立一个基于图神经网络的因果网络来追踪系统错误的根本原因，并使用极值理论估计每个实体成为根本原因的概率。实验证明，该框架能有效定位系统错误的根本原因。

    Feb, 2023

  • 神经网络中因果归因学习：超越直接影响

    本文研究了神经网络中因果关系的估计及维护，提出了一种有效的方法来捕获和维护直接和间接的因果关系，并在高维数据中量化因果属性。通过实验验证此方法学习的因果属性能够接近于真实效果。

    Mar, 2023

  • 探索因果学习通过图神经网络：深度综述

    图神经网络(GNNs)在因果学习中的应用和发展进行了全面的综述，包括分类和应用等方面，提供了与实际研究相关的数据集，同时探讨了因果学习在不同领域的应用，为机器学习这一快速发展领域的挑战和未来的研究方向提供了启示。

    Nov, 2023

  • 图神经网络中因果关系学习的重新思考

    通过构建人工合成数据集和进行实验验证，本论文从因果学习的角度综合分析了各种图神经网络模型，在此基础上提出一种轻量且高度适应性的图神经网络模块，以增强其因果学习能力。

    Dec, 2023

  • 引入微小的因果结构进入图表示学习

    在图神经网络的端到端图表示学习中，由于图数据中复杂的因果关系和规则使得模型准确捕捉真实数据关系变得困难。本文提出一种缓解策略，即将与图数据对应的规则或关系直接整合到模型中。然而，在图表示学习领域中，图数据的固有复杂性阻碍了建立一个包含整个数据集的普遍规则或关系的全面因果结构的推导。相反，只有专门的因果结构，揭示了约束子集内的特定因果关系。基于经验见解，我们观察到GNN模型在训练过程中收敛于这些专门的因果结构。因此，我们认为引入这些特定的因果结构有助于GNN模型的训练。在这一前提下，我们提出了一种新方法，使GNN模型能够从这些专门的因果结构中获得洞察力，从而提高整体性能。我们的方法特别从这些特定的因果结构的模型表示中提取因果知识，并引入交换干预来优化学习过程。理论分析证实了我们提出方法的有效性。此外，实证实验在不同数据集上一致地展示了显著的性能改进。

    Jun, 2024