探究自然语言解释对少样本自然语言推理模型在分布外泛化能力的影响

EMNLPOct, 2021

探究自然语言解释对少样本自然语言推理模型在分布外泛化能力的影响

Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI

Yangqiaoyu Zhou, Chenhao Tan

TL;DR本文研究神经模型在少样本学习中的泛化能力，探讨自然语言解释对泛化能力的影响，并借助 HANS 数据集中的模板构建自然语言解释。尽管生成的解释在 BLEU 分数上表现不错，但它们未能改善预测性能，而且经常产生虚假信息和错过指示标签的关键元素。

Abstract

Although neural models have shown strong performance in datasets such as SNLI, they lack the ability to generalize out-of-distribution (OOD). In this work, we formulate a few-shot learning setup and examine the e

neural models few-shot learning natural language explanations generalization hans dataset

发现论文，激发创造

标注丰富场景下自然语言解释的小样本领域迁移学习

本文研究了利用少量标注语言解释的迁移学习方法在无领域语言理解任务中的应用，并将其成功应用于代词消解和基于 commonsense 的验证等任务中。

Dec, 2021

使用人类解释监督模型关注力以强化自然语言推理

探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

Apr, 2021

e-SNLI: 自然语言推理和自然语言解释

通过扩展自然语言推理数据集并引入人工提供的自然语言解释，我们实现了能够学习人类提供解释的机器学习模型，并将其用于提高模型性能和确定其可靠性的研究。

Dec, 2018

FLamE: 自然语言说明下的小样本学习

提出了一种基于 GPT-3 生成自然语言解释并使用 RoBERTa 进行微调的两阶段 Few-shot 学习框架 FLamE，可以显著提高自然语言推理的准确性，但生成的解释并不能很好地说明分类决策，并指出标签特定的提示在生成的解释中起着重要作用。

Jun, 2023

文本分类中的外域泛化：过去、现在和未来

本篇研究论文探讨了自然语言处理中机器学习系统在处理超出标准数据集范畴的数据时的适用性，并在文本分类中研究了其可靠性及可能存在的偏差。此外，本文对该主题的最新进展、方法和评估进行了综述，并讨论了涉及的挑战和未来的研究方向。

May, 2023

主题、领域和语言变化的桥梁：综合离域场景的评估

在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

Sep, 2023

从少量样例评估领域外语言模型性能

本研究旨在探索预训练语言模型对领域转移能力的预测，并证明基于特征归因的因子对于预测模型领域转移能力具有一定的作用。

Oct, 2022

神经 NLP 模型外分布评估的调查

本综述论文比较了对神经自然语言处理模型的三种研究途径：对抗鲁棒性、领域泛化和数据集偏差，并总结了每条研究路径的数据生成过程和评估协议，并强调未来工作的挑战和机遇。

Jun, 2023

GLUE-X: 从越界泛化角度评估自然语言理解模型

本文介绍了创建一个名为 GLUE-X 的统一基准的首次尝试，该基准用于评估自然语言处理模型中的 OOD 鲁棒性，在 13 个公开可用的 OOD 测试数据集上验收模型，发现模型在 OOD 任务上的性能明显下降，对提高模型鲁棒性提供了一些见解和改进方案。

Nov, 2022

重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

May, 2022