Nov, 2021

基于集成的去偏方法不确定性校准

PDF
TL;DR本文提出了一种包括偏差建模、模型校准和去偏差三个阶段的集成去偏差框架，该框架在 NLI 和事实验证任务上的实验结果表明，相比传统的两阶段方法，该框架能够稳定提高模型在超出分布的情况下的准确性。
ensemble-based debiasing methodsbias-only modeluncertainty estimationscalibrationout-of-distribution accuracy
发现论文，激发创造
  • 消除自然语言理解模型中的未知偏见

    本文提出了一种自我去偏方法，以减少 NLU 模型在不事先知道偏差情况下利用偏差的趋势，并表明此方法不仅具有一般性和互补性，而且还能提高模型的整体鲁棒性。

    Sep, 2020

  • 不确定性量化和深度集成

    本文研究了在数据稀缺的情况下使用深度学习时，数据增强、集成学习和后处理校准方法之间的相互作用，并表明深度集成不一定会导致改进校准性能，必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。

    Jul, 2020

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 端到端自校准框架用于稳健的 NLU 训练

    通过引入一种简单而有效的去偏置框架，利用主模型的浅层表示来推导一个偏置模型，并同时训练两个模型，我们在三个广泛研究的自然语言理解任务中演示了该方法的有效性，尽管其简单性，但其在越界测试集上表现不俗，明显优于其他去偏执方法，并且仍然能够提供高性能的内分布结果。

    Sep, 2021

  • 评估数据集偏移下模型预测不确定性的可信度

    以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

    Jun, 2019

  • 稳健自然语言推理中的模型无关去偏策略的实证研究

    本文探索了多种方法使自然语言推理模型具有鲁棒性，包括模型去偏，数据增强等，并提供了性能较好的模型集成方法。

    Oct, 2020

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 不确定性中寻求合适的平衡

    利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

    Jan, 2019

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 面向去偏置事实验证模型

    在研究中，我们发现在常见的 FEVER 数据集中，仅针对声明的分类器与最佳证据感知模型具有相似的性能。为了解决这种现象，我们开发了一个评估集并引入了一种正则化方法以减少训练数据中偏差的影响，并取得了进展。该工作是朝着更加可靠地评估事实验证模型的推理能力迈出的一步。

    Aug, 2019