EMNLPOct, 2020

基于语义解释的组成泛化挑战 ——COGS

PDF
TL;DR评估语言处理架构的组成能力的语义解析数据集 COGS 表明现代标准 NLP 模型在其组成泛化能力上存在局限性，而将 COGS 定位为衡量进展的好方法。
natural language processingsemantic parsingcompositional generalizationtransformerslstms
发现论文，激发创造
  • ReCOGS：逻辑形式的附带细节如何 overshadow 语义解释的评估

    文章讨论了 COGS 基准测试对句子含义计算的评估方式以及其可能固有的局限性，并提出了一种更具挑战性的改进版本 ReCOGS，以更准确地评估模型的语义能力。

    Mar, 2023

  • COGS 中的结构性泛化：超标记化几乎是你所需的全部

    在许多自然语言处理应用中，神经网络在处理超出分布范围的示例时被发现无法进行泛化。本文通过多种方法对神经图形语义解析框架进行扩展以缓解这个问题，实验结果表明结构性约束对语义解析中的泛化是重要的。

    Oct, 2023

  • SLOG：语义解析的结构化概括评估

    通过引入 SLOG 数据集，我们展示了模型在构造化泛化任务中对词汇和结构的泛化能力存在巨大差异。相比 COGS 数据集，在 SLOG 数据集上，Transformer 模型（包括预训练模型）的泛化准确率仅达到 40.6%，而结构感知解析器仅达到 70.8%。

    Oct, 2023

  • 组合推理需要组合分析器

    该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

    Feb, 2022

  • 关于神经机器翻译的组合泛化问题

    本论文研究了现代神经机器翻译模型的组成泛化问题，构建了包含 216k 个干净和一致的语句对的基准数据集 CoGnition，并通过复合翻译误差率定量分析了各种因素的影响，然后展示了神经机器翻译模型在组成泛化方面的表现欠佳，尽管在传统指标下表现出色。

    May, 2021

  • 大型语言模型中面向组合通用语义解析的研究综述

    本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

    Apr, 2024

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 系统化综合的组合式程序生成

    给定一篇研究论文，通过训练神经符号结构的组合程序生成器（CPG），实现少样本学习和按长度生产序列到序列语言任务的通用性。

    Sep, 2023

  • 提高语义解析中组合泛化能力

    本文探究在语义解析中复合泛化的问题，研究了多种模型并提出多种扩展，其中包括使用上下文表示、指导解码器、训练解码器等等，结果发现这些因素有助于促进复合泛化。

    Oct, 2020

  • 通过组件对齐测量和提高文本到 SQL 中的组合通用性

    本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS，然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG，用于测试模型的组成泛化能力。实验表明，现有模型在 Spider-CG 上表现出显著的性能下降，我们改进了一些最先进的模型在 Spider-SS 上进行训练，提高了泛化性能。

    May, 2022