EMNLPOct, 2022

探索问答模型的分布稳健性

PDF
TL;DR在问答模型的分布稳健性中，我们进行了一项大规模的实证评估，研究了超过 350 个模型和 16 个问答数据集的情况，发现在很多情况下，模型的变化并不影响稳健性，而在分布内性能单独决定着分布外的性能，并且我们的发现表明，零样本和上下文学习方法比完全微调的模型更能抵御分布变化，少样本提示微调模型表现出比少样本微调跨度预测模型更好的稳健性，而参数高效和稳健性增强的训练方法对稳健性没有显著的改进。
发现论文，激发创造
  • 自然分布偏移对问答模型的影响

    为了测试问题回答系统的泛化能力，我们建立了四个新的测试集，并发现存在一定适应性过度拟合。此外，我们在自然分布转移方面测试了模型，结果发现人类能力相比 SQuAD 模型有明显优势，同时强调需要采用能够考虑自然分布转移的评估指标。

    Apr, 2020

  • 基准测试低数据量下对自然分布变化的鲁棒性

    本文研究了不同低样本情况下，自然分布偏移的鲁棒性，发现没有单一模型比其他模型更鲁棒，同时现有的干预手段在某些数据集上可能无法提高鲁棒性。

    Apr, 2023

  • 自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

    本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

    Jun, 2023

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 生成数据增强利用 LLMs 改善问答中的分布鲁棒性

    通过实验证明生成数据对阅读理解数据集的扩充可以更好地提高对自然分布变化的鲁棒性。

    Sep, 2023

  • 分布偏移的细粒度分析

    本研究提出了一种框架来分析各种分布转移，并通过评估 19 个不同类别的方法，提供了当前最先进方法的整体分析。结果显示，与标准 ERM 基线相比，预训练和数据扩充（学习或启发式）在许多情况下都具有很大的优势，但不能很好地适应不同的数据集和转移。

    Oct, 2021

  • 通过测试时间自适应实现对分布偏移的鲁棒问答：一项实证研究

    本研究旨在探讨如何通过测试时间适应（TTA）方法，提高已部署的问题回答（QA）模型的性能，评估了多种 TTA 方法（包括一种新方法 - OIL）在一个统一的 QA 评估基准（COLDQA）下的鲁棒性，研究表明，在已进行鲁棒性调优（RT）之后，应用 TTA 方法可以显著提高 QA 模型的性能。

    Feb, 2023

  • 对于分布转移下的对抗鲁棒性的通用性

    本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

    Sep, 2022

  • 转移学习中的越界泛化测量

    本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

    Jul, 2022

  • 数据驱动解释对抗外部数据的鲁棒性研究

    本篇论文提出了基于自监督学习思想的分布式鲁棒性解释，针对黑盒模型的应用，解释在数据分布变化时的可靠性，并通过广泛的实验验证了该方法对模型的鲁棒性提升。

    Mar, 2023