ACLAug, 2020

提高 NLP 系统的选择性预测能力

PDF
TL;DR本文介绍了一种通过使用预测置信度和难度分数来校准模型的概率估计方法，并基于此方法进行了自然语言推理和重复检测任务的实验，结果表明我们的校准器在 NLI 和 DD 任务中分别提高了 15.81％和 6.19％的准确率。
nlpselective predictioncalibrationnatural language inferenceduplicate detection
发现论文，激发创造
  • 在 IID、OOD 和对抗环境中研究不同任务的选择性预测方法

    本研究通过对多个 NLP 任务的 17 个数据集进行实验表明，对于具有选择性预测能力的 NLP 系统，尽管其利用了额外的资源，但现有的方法并不能始终在所有数据领域（IID）, 数据领域外（OOD）和对抗性（ADV）的场景下显着优于最简单的基线 'MaxProb'，且这些方法的表现在任务之间的转化性不好，因此建议应该跨任务和场景评估未来的选择性预测方法以可靠地评估它们的能力。

    Mar, 2022

  • 再三思考：衡量消除问答模型预测快捷方式的效率

    本文提出一种简单的方法，用于评估预训练模型在特定 spurious feature 上的依赖程度并评估各种预训练模型和去偏见方法在问答 (QA) 中对大量已知和新发现偏差的鲁棒性，发现去偏见方法的 OOD 收益不能通过减少对偏见特征的依赖来解释，我们进一步通过测量 OOD 模型的性能表明其依赖于偏见特征，这表明 QA 数据集中存在共享的偏见，同时也需要进一步的工作来提高 LLM 鲁棒性的报告水平。

    May, 2023

  • 使用正确性判别器预测泛化性能

    通过训练鉴别器来预测 NLP 模型在未见过的可能不同分布的数据上的准确性，从而得到一个上下界，无需使用未见过数据的真实标签。通过多个任务的实验证明了真实准确性在预测的上下界之间，并且这些上下界非常接近。

    Nov, 2023

  • 自然语言处理中的结构化输出预测器校准

    本研究提出了一种用于神经网络模型的预测校准方案，特别是针对命名实体识别、词性标注和问题回答等应用，该方案可以提高模型预测结果的置信度和性能，在领域外测试场景中也表现出卓越的性能。

    Apr, 2020

  • 基于贝叶斯近似的领域外检测分布校准

    本文提出了一种基于贝叶斯模型和 Monte-Carlo Dropout 技术的 OOD 检测框架，能够有效减少训练集和测试集分布的不匹配所导致的不确定性，从而提高 OOD 的 F1 得分。

    Sep, 2022

  • 通过借鉴同行经验，提高有选择性的视觉问答能力

    本文提出了一个使用 Learning from Your Peers 方法的多模式选择函数，以在不同分布的数据下实现选择性视觉问答，并在各种模型中取得了不错的表现。

    Jun, 2023

  • 对话系统中自然语言理解的领域外检测

    本文提出了一种基于自动编码器和生成对抗网络生成伪 OOD 样本来提高 NLU 中 OOD 检测性能的新模型，同时也演示了未标注数据可以进一步提高这些伪 OOD 数据的有效性。

    Sep, 2019

  • 无需领域内标签：文本领域外检测

    本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

    Mar, 2022

  • 有监督对比学习建模鉴别性表示进行领域外检测

    本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

    May, 2021

  • 无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用

    该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测，并提出了一种利用生成分类器和边际似然值（比率）进行域外检测的方法。

    Dec, 2019