Oct, 2022

无监督组合表示学习中的组合泛化：关于解缠和新兴语言的研究

HTML
PDF
TL;DR本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力，研究发现，与其它算法相比，使用EL模型学习到的表示具有更强的复合泛化能力，但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差，同时现有的度量复合性的指标与本文的评价方法不相关
发现论文，激发创造
  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 元学习以复合泛化为目标

    自然语言是组成的，神经网络在组成泛化方面表现差， 自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

    Jun, 2021

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021

  • 用于组合泛化的解开序列生成的学习模型

    本文提出了一种基于源输入逐步自适应重编码的sequence-to-sequence模型扩展，以此来鼓励解开编码时存在的混淆状态。最终实验结果表明，这个扩展能够提供更好的解释性和推广性。

    Oct, 2021

  • 未观察到的局部结构使得组合泛化变得困难

    本文研究序列到序列模型在新组合情境下（被称为混合泛化）的推广效果，提出了本地结构和测试集的难度之间的关系，并通过选择对模型最具挑战性的测试样本，增加模型的泛化性能。

    Jan, 2022

  • 基于分解的序列到序列学习的真实世界组合通用化

    通过对Disentangled sequence-to-sequence模型进行改进，我们引入了两个关键的修改，以更好地处理语言中的组合概括，从而在现有任务和数据集上实现更好的泛化性能，并创造了一个新的机器翻译基准，并展示了这种方法比人工设计呈现更好的真实通用性。

    Dec, 2022

  • 从第一原则开始的组合泛化

    本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。

    Jul, 2023

  • 层次表示融合的组合性泛化

    通过引入fuse-attention模块，提出了一种扩展的序列到序列模型（ extsc{FuSion}），以适当地将上一层的信息融合回编码和解码过程中，有效地解决了表示缠结问题，并在两个实际基准测试上取得了竞争性甚至最先进的结果，从而验证了我们的提议的有效性。

    Jul, 2023

  • 通过迭代学习和简单嵌入改进组合泛化能力

    通过使用基于简单嵌入的模型上的迭代学习，我们改进了深度网络的组合泛化能力，并通过基于科尔莫哥洛夫复杂性的组合性分析展示了这种改进在视觉任务和实际分子图预测任务中的有效性。

    Oct, 2023

  • 探索上下文学习与组合泛化之间的关系

    通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。

    Mar, 2024