ACLMay, 2022

企鹅不会飞：通过实例和例外推理通用性

PDF
TL;DR提出了一种受语言学理论启发的新框架，用于生成 generic 时成立或不成立的特例，为了开发 comprehensive understanding of generics 必须知道 generic 语句何时成立或不成立，因为现有的 commonsense knowledge bases 中缺少这些特例，实验表明，该方法比使用 knowledge bases 获得的 GPT-3 baseline 性能更好，但该框架仍然面临挑战，如何掌控何时使用 exemplars 是实现这一目标的关键之一。
genericscommonsense knowledge baseslinguistic theoryexemplarsnatural language inference
发现论文，激发创造
  • 引导张量因子分解的通用知识补全

    通过使用外部信息，如关系模式和实体分类法，在基础知识库或 KB 中推断出更多与通用名词或总称有关的事实，这是以前的 KB 补全方法所无法处理的。同时，在收集有关罕见实体的注释方面，我们提出了一种新的方法，可以比多个常规方法更有效地推断出这些实体的信息。

    Dec, 2016

  • 通过示例进行抽象化？BERT 中词汇类别推理的表征案例研究

    我们通过分析 BERT 在语言学敏感任务中的表征行为，发现它在使用新词汇时能够向已知词汇的类别示例区域推广，这表明学习者的示例编码能够产生类似于抽象的行为。

    Nov, 2023

  • 一般化的分解：对通用、习惯和情节陈述的模型

    本文提出了一种新的语义框架，用于建模泛化语言表达，利用该框架构建了一个包含所有通用依赖英语 Web Treebank 的数据集，并使用该数据集来探究预测泛化表达所需的信息以提高模型的效能，包括基于类型和基于令牌的信息、手工特征，以及静态 (GloVe) 和情境性 (ELMo) 单词嵌入等，并在 decomp.io 上提供数据和代码。

    Jan, 2019

  • GenericsKB：通用陈述知识库

    我们提供了一个新的资源 —— 大型（3.5M + 句子）通用语句知识库，它包含从多个语料库中收集的自然生成的语句。这是第一个包含自然生成通用语句的大型资源，同时富含优质、通用、语义完整的语句。在两个需要多跳推理的现有数据集（OBQA 和 QASC）的测试中，使用 GenericsKB 可以得到比使用更大语料库更高的得分和更好的解释。这表明 GenericsKB 不仅可以成为 NLP 应用的有用资源，还可以为通用语句及其语义的语言研究提供数据。

    May, 2020

  • 鸟有四条腿？！NumerSense：探究预训练语言模型的数值常识知识

    本文旨在探讨预训练语言模型（PTLMs）是否具备数值常识知识，并介绍了一个诊断数据集 NumerSense 用于评估 PTLMs 的性能，结果表明：（1）BERT 和 RoBERTa 表现不佳（2）通过有监督学习可以有所提升（3）最佳的监督模型仍然表现不及人类表现。

    May, 2020

  • 预训练语言模型中的否定和误导探针：鸟能说话，但不能飞

    本文提出了两个新的探究任务，分别是负面任务和误导任务，研究表明预训练语言模型在处理这两种任务时，仍有较大的差距，需要进一步完善。

    Nov, 2019

  • 相似性能下的 BERT 模型泛化能力差异大

    本研究研究了同一神经网络架构在同一数据集上多次训练后是否在不同运行中进行相似的语言概括，通过在 Multi-genre 自然语言推理（MNLI）数据集上微调 100 个 BERT 实例并在评估自然语言推理中的句法概括的 HANS 数据集上对它们进行了评估，这类变异很可能是由于在局部极小值处的神经网络中出现的损失函数梯度等的不同选择而存在的，而减少变异可能需要具有更强归纳偏差的模型。

    Nov, 2019

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • GeniL：一个关于语言泛化的多语言数据集

    通过构建多语言数据集 GeniL，我们介绍了检测语言中概括化的新任务，其对多样的上下文进行了可靠区分，从而有助于深入理解刻板印象的永久化，这是实现更包容、负责任的语言技术的关键一步。

    Apr, 2024

  • 区分基于规则和范例的一般化学习系统

    本研究基于实验方法，探讨了分类学习系统的归纳偏差对样本和规则泛化之间的权衡，并发现标准神经网络模型存在特征偏见和样本驱动等问题，对机器学习研究的系统泛化、公平性和数据增广等产生了影响。

    Oct, 2021