Feb, 2024

探索高阶神经网络节点之间的总相关性

PDF
TL;DR我们提出了一种名为本地相关解释（CorEx）的新方法，通过首先基于数据流形上的接近程度对数据点进行聚类，以在局部尺度上捕获高阶变量相互作用（HOIs），以解决在复杂的生态系统、合作关系和人脑等领域中准确表征 HOIs 变得困难并且当 HOIs 在数据中变化时进一步加剧的问题。然后，我们使用一种名为总相关性的多变量互信息构建每个聚类中数据的潜在因子表示，以学习局部 HOIs。我们使用本地 CorEx 探索合成和真实世界数据中的 HOIs，以提取有关数据结构的隐藏见解。最后，我们演示了本地 CorEx 用于探索和解释经过训练的神经网络内部运作的适用性。
higher-order variable interactionslocal correlation explanationdata manifoldlatent factor representationtrained neural networks
发现论文，激发创造
  • 通过相关性在高维数据中发现结构

    提出了一种层次逐步抽象表示复杂数据的学习方法，该方法基于优化信息论目标，通过最大化多变量互信息来搜索最佳解释数据相关性的潜在因素集合，该方法无需监督，不需要模型假设，并且随着变量数量的线性扩展具有可行性，我们证明了 Correlation Explanation (CorEx) 自动发现了来源于多个数据源的有意义的结构，包括个性测试、DNA 和人类语言。

    Jun, 2014

  • 自动编码总相关性解释

    本文提出了一种基于多元互信息或称总相关性的信息论方法，用于表征表示学习中的解缠和依赖性，提出了一种基于可变下限的 CorEx 方法，使得 Latent codes 更具可解释性，并且能够生成更丰富、更真实的样本；同时，将 VAE 与 CorEx 相联系，在信息论上加深了对分层 VAE 的理解，并激发了一种新的算法 AnchorVAE。

    Feb, 2018

  • 从成对相关性推断出本地结构

    研究多元复杂系统的建模，利用局部结构检测与变量的成对相关性推断数据的维度和像素排列，辅助现代基于注意力机制的机器学习方法的成功实现。

    May, 2023

  • 解释深度学习中的局部、全局和高阶相互作用

    本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法，用于计算个体特征之间的统计交互效应，该方法适用于 2 阶和高阶（3 阶或更高阶）交互项。此外，我们将交叉导数扩展到计算机视觉领域，提出了一种称为 Taylor-CAM 的方法，可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功，并通过用户研究进行了验证。

    Jun, 2020

  • 超图神经网络综述：深度和逐步指南

    综述文章介绍了深度学习在高阶相互作用、超图神经网络等方面的研究，涵盖了架构、训练策略和应用，并讨论了存在的局限性和未来发展方向。

    Apr, 2024

  • 重新挖掘、学习和推理：探索跨模态语义相关性用于语言引导的 HOI 检测

    通过结构化文本知识，我们提出了一个系统且统一的框架 (RmLR) 来提高人物 - 物体交互检测，通过分析相互作用信息的损失并生成更全面的视觉表示，设计了更精细的句子 - 词级对齐和知识传递策略以有效解决多个交互和多个文本之间的匹配问题，进而提高了对交互的理解。实验结果表明我们的方法在公共基准测试上实现了最先进的性能，并进一步分析了我们方法的各个组成部分对效果的影响，为其功效提供了洞察。

    Jul, 2023

  • 探索图解释中的高阶结构

    介绍了一种名为 HOGE 的框架，用于捕捉使用细胞复合体建模的高阶结构，可用于解释图神经网络的预测，并在实际应用中达到更清晰和更准确的解释。

    Jun, 2024

  • 单纯闭包与高阶链接预测

    使用高阶交互作用模型，研究 19 个数据集的时空演化，证明高阶交互作用种类多样，同一系统类型的数据集具有一致的高阶结构模式，同时，密度与强度是高阶组织的竞争指标，并提出高阶链接预测作为模型和算法的基准问题，发现与传统的成对链接预测有根本区别。

    Feb, 2018

  • 锚定相关性解释：最小领域知识主题建模

    本文介绍了一种名为 CorEx 的主题建模方法，这种方法不需要假设潜在的生成模型，而是通过信息理论框架学习最大信息的主题。该框架可以自然地推广到具有层次结构和半监督扩展的情况，通过锚词，可以灵活地将单词级的领域知识纳入 CorEx，从而最小限度地促进主题的可分离性和表征。通过多种数据集、指标和实验，我们证明了 CorEx 产生的主题与无监督和半监督变体的 LDA 所产生的主题在质量上是可比较的。

    Nov, 2016

  • 通过锚定相关性解释实现可解释的主题发现

    使用模糊和非正式的专家知识指导文本中解释性潜在主题的发现，结合了信息瓶颈和总相关性解释方法，对 Anchored CorEx 进行了初步评估，并在两个不同的语料库上产生了更连贯和可解释的主题。

    Jun, 2016