Mar, 2024

探索 NLI 中的连续学习组合概括

PDF
TL;DR本文介绍了 Continual Compositional Generalization in Inference (C2Gen NLI) 挑战，并通过设计一个连续学习设置来探究持续学习对 NLI 的组合推理的影响。实验证明模型在连续场景中无法进行组合推理的泛化。为了解决这个问题，我们首先对各种连续学习算法进行基准测试并验证其有效性，然后进一步分析 C2Gen，关注如何排序原语和组合推理类型，并检查子任务之间的相关性。我们的分析表明，通过在观察其依赖性和难度增加的同时连续学习子任务，可以提高组合推理能力。
compositional natural language inferencecontinual compositional generalization in inferencecontinual learningcompositional nli inference taskscomposition generalization ability
发现论文，激发创造
  • 从第一原则开始的组合泛化

    本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。

    Jul, 2023

  • 通过学习分析表达式实现组合泛化

    通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

    Jun, 2020

  • 元学习以复合泛化为目标

    自然语言是组成的，神经网络在组成泛化方面表现差， 自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

    Jun, 2021

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • 构成概括的一般理论

    本研究从无任务偏见的视角探索了合成泛化问题，通过理论发现：1）在合成泛化中没有通用解决方案；2）提出了适用于任何合成泛化问题的新型泛化界限，指定了有效合成泛化解决方案的条件；和 3）引入生成效应以增强对合成泛化问题及其解决方案的理解，为合成泛化问题提供了一个普适理论，可以与特定任务场景下的先前定理相结合以全面理解合成泛化。

    May, 2024

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 组合推理需要组合分析器

    该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

    Feb, 2022

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021

  • 大型语言模型中面向组合通用语义解析的研究综述

    本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

    Apr, 2024