ICLRApr, 2021

学习单一环境下的反事实 G 不变性的神经网络

PDF
TL;DR针对基于有限转换组的偏移推断问题，本文引入了一种由反事实引导的学习框架，其通过在模型中实现对于 (已知) 转换组的不变性来提高神经网络对偏移推断的鲁棒性，并通过序列和图像推断任务对此方法进行验证。
neural networksextrapolationlearning hypothesisinvarianceimage extrapolation
发现论文，激发创造
  • 通过反事实例和梯度监督学习区分重要因素

    使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

    Apr, 2020

  • 神经网络如何外推：从前馈到图神经网络

    研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。

    Sep, 2020

  • 基于 GAN 的知识推广原则

    这篇论文提出了一种基于知识外推的对因果推断的新方法，通过对抗训练生成对抗网络，即可实现对难以使用传统因果图构建的复杂数据分布的可解释性推断，并在很多场景下取得了优异的性能表现。

    May, 2022

  • 反事实生成网络

    通过深度生成建模，我们将图像生成过程分解成独立的因果机制，从而产生反事实图像，提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明，这些反事实图像能够提高模型的抗干扰性，而且这个模型能在单 GPU 上高效训练。

    Jan, 2021

  • 通过神经对抗不变性学习从异构环境中追求因果关系

    通过数据驱动的方法，在结构因果模型框架下，提出了一种名为 Focused Adversarial Invariance Regularization (FAIR) 的新框架，用于解决多样环境下的不变性追求问题，并应用 FAIR-NN 估计器实现普适的非参数不变性学习。

    May, 2024

  • 通过归纳性来强化图神经网络中的反事实推理

    本研究介绍了一种称为 INDUCE 的归纳算法，旨在为节点推导科学中的 GNN 提供因果关系解释，并通过引入边缘增强来改善 counterfactual 结果，此外，归纳建模方法使 INDUCE 直接预测反事实扰动，无需特定示例的训练，从而在计算速度上实现了显著领先的方法和 GNN 的可扩展反事实分析。

    Jun, 2023

  • 生成模型中外推独立机制的理论

    生成模型可以通过实现真实数据生成过程的因果图结构向未被观测环境进行预测，然而，由于因果图结构节点通常未被观测，这导致了模型的超参数化和因果结构的不可识别性，此文章开发了一种理论框架，通过一个弱化的可识别性标准解决这种情况，并展示经典的随机梯度下降可能阻碍模型对未被观测数据的预测能力，建议在训练期间明确地强制执行机制的独立性，使用真实世界数据训练的深度生成模型实验证明这些看法，并展示这些模型的外推能力如何被利用。

    Apr, 2020

  • 带有概率保证的神经网络的鲁棒的反事实解释

    通过引入 “自然发生的模型变化” 这种数学抽象概念，提出了一种能度量不同模型下反事实解释的鲁棒性的度量标准，该标准称为 “稳定性”，并证明了当该度量标准足够高时，针对高斯函数的稳定性也足够高，能够有效解决不同模型之间的反事实解释一致性问题。

    May, 2023

  • 神经网络与乔姆斯基层次结构

    通过在 20,910 个模型和 15 个任务上进行广泛的实证研究，我们展示了按照 Chomsky 层次分类任务可以预测特定体系结构的广义能力。结果表明，只有增加了结构化记忆的网络（例如堆栈或内存带）才能成功地推广上下文自由和上下文相关的任务。

    Jul, 2022

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020