非变量泛化

Apr, 2023

Out-of-Variable Generalization

Siyuan Guo, Jonas Wildberger, Bernhard Schölkopf

TL;DR本文旨在研究 AI 智能代理器对于陌生和新的因变量的预测和探索问题，提出了一种基于先前经验的较为有效的处理方法，并能够实现零样本预测。

Abstract

The ability of an agent to perform well in new and unseen environments is a crucial aspect of intelligence. In machine learning, this ability is referred to as strong or out-of-distribution generalization. However, simply considering differences in data distributions is not sufficient to fully capture differences in environments. In the present paper, we ass

out-of-variable generalization ai-driven scientific discovery prediction tasks causal parents zero-shot prediction

发现论文，激发创造

机器学习中的越界泛化

研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

Mar, 2021

环境因素对位于特定环境中的代理体系统性与概括性的影响

研究神经网络的泛化能力，通过 3D Unity 模拟环境测试网络在未见过的情况下的表现并发现了训练、环境的细节影响泛化能力，建议在网络训练时按照孩子多感官、多模态的观察方式输入信息。

Oct, 2019

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

领域泛化：一份调查报告

本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

Mar, 2021

通过因果干预实现图形的超出分布泛化

通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。

Feb, 2024

过参数化对于超出分布之外的普适性的益处

研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

Mar, 2024

提高泛化性能的数据混淆方法

该研究提出了一个新的训练方法，通过将数据分成非独立同分布的子集，可以有效地改善机器学习中的泛化问题，尤其在视觉问答任务中表现良好。

Feb, 2020

时代分割

研究中提出了两种新的决策树分裂准则，可以将环境或逐时信息纳入基于树的模型中，以找到在数据的所有不联通时期中都是最优的分裂点，而不是整个数据集的最优设置。

Sep, 2023

开放式学习导致通用能力的代理

本文介绍了一种基于多智能体、开放式学习的方法，其能够使得智能体在一种包含大量挑战、跨越多个任务、更广泛的行为通用化领域中表现出非凡的学习能力。通过在环境中建立一个任务的宇宙，我们的训练代理能够跨越更广泛的任务领域，这个领域自然多智能体，涉及合作竞争等多种类型的游戏，而这一领域的挑战对于智能体来说多种多样，因此，我们提出了一种迭代方法来改进代理的效果，而不是试图最大化一个单一目标。最终，我们证明了这种代理的通用能力，可以通过简单的微调实现更大规模的行为传递。

Jul, 2021