自省蒸馏用于稳健问答

Nov, 2021

Introspective Distillation for Robust Question Answering

Yulei Niu, Hanwang Zhang

TL;DR本文提出了一种名为 Introspective Distillation（IntroD）的新型去偏差方法，通过内省训练样本是否适合现实 ID 世界或对立 OOO 世界来融合 OOD 和 ID 的归纳偏差，用于解决语言和阅读理解等领域中 QA 模型的数据偏差问题，并在 VQA v2、VQA-CP 和 SQuAD 数据集上进行了实验验证。

Abstract

question answering (QA) models are well-known to exploit data bias, e.g., the language prior in visual qa and the position bias in reading

question answering data bias debiasing methods introspective distillation visual qa

发现论文，激发创造

走向可靠的数据集提纯

通过同时考虑数据集精简和外部样本检测，我们提出了一种称为可信数据集精简的新范例，通过提取内部样本和异常样本，精炼的数据集可以训练能够进行内部分类和外部样本检测的模型。

Jul, 2023

通过置信修正进行超领域知识蒸馏

该研究论文介绍了一种无论是否有 ID 训练数据都适用的 OOD 知识蒸馏学习框架，利用标准网络中的 OOD 敏感知识创建了一个能够区分 ID 和 OOD 样本的二分类器，并通过将 OOD 样本逐渐改变为 ID 样本同时调整预测置信度的方法，实现了同时合成 ID 和 OOD 样本，从而提高了 OOD 敏感性。通过理论分析给出了二分类器的泛化错误界限，实验证实了所提方法在检测 OOD 样本方面的有效性。

Nov, 2023

多层知识蒸馏用于文本领域中的外部分布检测

本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

Nov, 2022

再三思考：衡量消除问答模型预测快捷方式的效率

本文提出一种简单的方法，用于评估预训练模型在特定 spurious feature 上的依赖程度并评估各种预训练模型和去偏见方法在问答 (QA) 中对大量已知和新发现偏差的鲁棒性，发现去偏见方法的 OOD 收益不能通过减少对偏见特征的依赖来解释，我们进一步通过测量 OOD 模型的性能表明其依赖于偏见特征，这表明 QA 数据集中存在共享的偏见，同时也需要进一步的工作来提高 LLM 鲁棒性的报告水平。

May, 2023

自适应松弛优化的鲁棒问答

本文提出了一种简单且有效的新型损失函数，结合自适应松弛优化，以使问题回答模型在和数据相关的问题中取得最好的表现。该方法旨在同时处理在分布内和分布外的性能问题，并通过实验证明其在大多数情况下可以使 QA 方法获得最先进的内外分布表现。

May, 2023

面向强健的视觉问答：通过对比学习充分利用偏倚样本

提出了一个名为 MMBS 的对比学习方法，通过去除与偏见相关的信息构建正样本进行训练，从而构建更加鲁棒的视觉问答模型并增加其对理性推理的贡献，同时在 VQA-CP v2 OOD 数据集上取得了竞争性的表现以及在 VQA v2 ID 数据集上保持了鲁棒的性能。

Oct, 2022

从视觉语言基础模型中提取出超出分布鲁棒性

通过知识蒸馏和数据增强的结合，提出了一个概念简单且轻量级的框架来提高视觉模型的鲁棒性。通过从预训练的基础模型进行蒸馏，我们得出了大型模型并不一定会成为更好的教师的推测并在分布外鲁棒性上取得了显著的改进。基于这一发现，我们提出了离散对抗蒸馏（DAD）的方法，利用鲁棒的教师生成对抗样本并使用 VQGAN 对其离散化，相比于标准的数据增强技术，生成的样本更具信息量。我们提供了一个理论框架来解释在具有数据增强的知识蒸馏中使用鲁棒的教师，并在不同的学生架构中展示了分布外鲁棒性和净精确度的显著改进。值得注意的是，我们的方法与类似技术相比只增加了较小的计算开销，并且可以轻松与其他数据增强技术结合以进一步提高性能。

Nov, 2023

通过隐式层集成增强自然语言理解中的外部分布检测

该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

Oct, 2022

端到端自校准框架用于稳健的 NLU 训练

通过引入一种简单而有效的去偏置框架，利用主模型的浅层表示来推导一个偏置模型，并同时训练两个模型，我们在三个广泛研究的自然语言理解任务中演示了该方法的有效性，尽管其简单性，但其在越界测试集上表现不俗，明显优于其他去偏执方法，并且仍然能够提供高性能的内分布结果。

Sep, 2021

强健的视觉问答：数据集，方法和未来挑战

视觉问答研究需要系统能够根据图像和自然语言问题提供准确的自然语言答案。然而，先前的通用 VQA 方法普遍存在记忆训练数据中的偏见而不是学习正确行为（如在预测答案之前进行图像建立联系）。因此，这些方法通常在分布内获得高性能但在分布外获得低性能。最近几年，已经提出了各种数据集和去偏见方法来评估和增强 VQA 的稳健性。本文提供了关于这一新兴领域的首个综述，重点讨论视觉问答中的这些问题。具体来说，首先概述了数据集的发展过程，从分布内和分布外的角度进行了分析。然后，研究了这些数据集使用的评估指标。第三，提出了一种类型学，介绍了现有去偏见方法的发展过程、相似之处与差异、稳健性比较和技术特征。此外，分析和讨论了 VQA 中代表性视觉与语言预训练模型的稳健性。最后，通过对现有文献的彻底审查和实验分析，从各个角度探讨了未来研究的关键领域。

Jul, 2023