从第一原则开始的组合泛化

Jul, 2023

Compositional Generalization from First Principles

Thaddäus Wiedemer, Prasanna Mayilvahanan, Matthias Bethge, Wieland Brendel

TL;DR本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。

Abstract

Leveraging the compositional nature of our world to expedite learning and facilitate generalization is a hallmark of human perception. In machine learning, on the other hand, achieving compositional generalization has proven to be an elusive goal, even for models with explicit composit

compositional generalization identifiable representation learning data-generating process training distribution model architecture

发现论文，激发创造

自动组合表示变换以促进泛化

介绍了一种广泛适用的形式主义，即组合问题图，以解决机器学习中不利于推广的问题，提出了组合泛化问题并引入组合递归学习器，该框架适用于学习算法过程以组合表示转换，从而产生能够进行推理的学习器。

Jul, 2018

通过学习分析表达式实现组合泛化

通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

Jun, 2020

基本替换的构成性泛化

本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

Oct, 2019

构成概括的一般理论

本研究从无任务偏见的视角探索了合成泛化问题，通过理论发现：1）在合成泛化中没有通用解决方案；2）提出了适用于任何合成泛化问题的新型泛化界限，指定了有效合成泛化解决方案的条件；和 3）引入生成效应以增强对合成泛化问题及其解决方案的理解，为合成泛化问题提供了一个普适理论，可以与特定任务场景下的先前定理相结合以全面理解合成泛化。

May, 2024

神经模型中组成通用能力的研究

该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

Jun, 2020

通过结构标注提高分类任务中的组合泛化能力

本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

Jun, 2021

可证明的物体为中心学习的组合概括

通过可识别性理论的视角，我们研究了何时可以保证物体中心表示在组合泛化中保证可补全一致性，通过合成图像数据的实验验证了我们的理论结果和假设的实践相关性。

Oct, 2023

面向面向对象世界建模的组合泛化

本文研究基于强化学习的面向对象环境下的组合泛化，提出算法 Homomorphic Object-oriented World Model（简称 HOWM），并将其与其他算法相比较，结果表明我们的算法具有实现高效软组合泛化能力。

Apr, 2022

提高数学问题解决中的组合泛化能力

本文研究了数学单词问题中的组合泛化，并提出了一种迭代的数据增强方法，将多种组合变化引入到训练数据中，从而显著提高了常规数学单词问题方法的组合泛化能力。

Sep, 2022

应用程序合成概括综述

本文全面回顾了构成性泛化在多个实际应用领域的最新发展，介绍了常见应用分类法，并总结了每个领域的最新技术现状。此外，我们还确定了重要的当前趋势，并提供了有关这一新兴领域未来的新观点。

Feb, 2023