Nov, 2023

从生物神经动力学中发现因果关系的注意力机制

PDF
TL;DR该研究探索了使用转换模型学习具有复杂非线性动态的网络中的 Granger 因果关系的潜力，以神经生物学和生物物理学网络为例；研究主要集中于基于模拟神经动力学的概念验证研究，结果表明，用于预测神经群体动力学的转换模型的交叉注意模块有效地捕捉到神经元之间的因果关系，准确性至少与最流行的 Granger 因果分析方法相当。尽管承认真实世界的神经生物学数据将带来进一步的挑战，包括动态连接性和未观察到的变化，但该研究对于转换模型在神经科学中因果表示学习的实用性提供了鼓舞人心的初步展示。
transformer modelsgranger causalityneurobiological networksneuronal population dynamicscausal representation learning
发现论文，激发创造
  • 神经葛兰杰因果关系

    利用结构化的多层感知机和循环神经网络，结合稀疏性惩罚，提出一种非线性 Granger 因果分析方法，通过其自动裁剪滞后项和处理长程依赖关系等特点，优于现有方法，可以应用于脑科学、基因组学和人体运动等领域。

    Feb, 2018

  • 使用自解释神经网络的 Granger 因果关系可解释模型

    本文提出了一种基于自解释神经网络的非线性动力学下多元格兰杰因果推断的新框架，该框架除了关系推断外，还允许检测格兰杰因果效应的符号并检查其随时间的变化，通过模拟数据等实验表明该框架与其他基线方法相比在推断格兰杰因果性方面具有相当的性能，并在推断交互符号方面取得更好的表现，这表明本框架是推断格兰杰因果性的可行且更易解释的替代方法。

    Jan, 2021

  • 具有非均匀嵌入和显式验证阶段的神经网络用于评估 Granger 因果关系

    本文提出了一种基于神经网络方法的动力学系统研究方法，避免了传统模型建立过程中的假设。实验表明，该方法能够正确检测时间序列系统的动态信息流，尤其是在涉及冗余变量的情况下具有显著的优越性。

    Jul, 2015

  • 基于 Transformer 的方法：从非结构化文本到因果知识图谱

    本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

    Feb, 2022

  • 格兰杰因果性：基本理论及其在神经科学中的应用

    本文介绍了 Granger 因果性的概念和数学框架，包括双变量 Granger 因果性和条件 Granger 因果性的谱表示。通过研究大规模震荡皮层网络的多通道局部场电位，揭示了神经计算的协同性质。

    Aug, 2006

  • 基于梯度下降的 Transformer 网络学习因果结构

    通过梯度下降优化算法，变压器模型通过自注意机制在第一个注意力层中编码潜在的因果图，从而学习了因果结构。

    Feb, 2024

  • 大规模动态脑连接图的图表示学习与 Transformer

    使用图变换器学习动态功能连接性的表示，实验证明我们的方法在基于 fMRI 数据提取的功能连接性的性别分类和年龄回归任务中优于竞争基准。

    Dec, 2023

  • 预训练 Transformer 中自注意力的因果解释

    我们提出了 Transformer 神经网络结构中自注意力的因果解释。我们将自注意力解释为一种机制，用于估计给定输入符号（标记）序列的结构方程模型。结构方程模型可以被解释为输入序列特定上下文下的输入符号的因果结构。与潜在混淆变量相比，该解释仍然有效。根据此解释，我们通过计算最深层注意力中相应表示之间的偏相关来估计输入符号之间的条件独立关系。这使得能够使用现有的基于约束的算法学习输入序列上的因果结构。从这个意义上讲，现有的预训练 Transformer 可被用于零样本因果发现。我们通过为两个任务（自然语言处理的情感分类和推荐）中的 Transformer 结果提供因果解释来演示这种方法。

    Oct, 2023

  • 通过扰动神经网络推断有效连接性：基于合成脑电图数据的证据

    通过扰动训练好的神经网络来推断有效连接性（effective connectivity），以揭示人工神经网络预测未来系统动态的潜在因果结构。

    Jul, 2023

  • 基于 VAE 的学习多级神经 Granger - 因果连通性的框架

    本文介绍了一种基于 VAE 的框架，以合理的方式共同学习相关异质动态系统中的 Ganger 因果关系，从而提取嵌入在这些系统中的共享公共结构，并识别个体系统中的特质。该方法在多个合成数据设置上进行评估，并与用于学习单个系统的现有方法进行基准比较。该方法还在涉及神经生理学实验的时间序列数据的真实数据集上进行了说明，并产生了可解释的结果。

    Feb, 2024