Apr, 2023

带有随机权重平均的不确定性感知自然语言推理

PDF
TL;DR这篇论文介绍了在自然语言理解（NLU）任务中使用随机重量平均 - 高斯（SWAG）进行贝叶斯不确定性建模的方法，并将其应用于标准的自然语言推理（NLI）任务中，证明该方法以预测准确度和与人类注释不一致性相关性等方面的有效性。我们认为，SWAG 中的不确定性表示更好地反映了主观解释和人类语言理解中存在的自然变化。结果揭示了不确定性建模在 NLU 任务中的重要性，这是神经语言建模经常忽略的方面。
发现论文，激发创造
  • 大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

    基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

    May, 2024

  • 深度学习中贝叶斯不确定性的简单基准线

    SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

    Feb, 2019

  • 语义不确定性：自然语言生成中不确定性估计的语言不变性

    本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

    Feb, 2023

  • 用于语言建模的可伸缩循环神经网络贝叶斯学习

    本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

    Nov, 2016

  • 自适应随机加权平均

    提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

    Jun, 2024

  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • SWAG：一个大规模的针对基于常识的推理的对抗性数据集

    本文提出了基于语言理解和常识推理任务的通用语境推断任务。为解决当前数据集进行注释所遇到的人为误差和注释偏见问题，使用对抗训练技术提出了 Adversarial Filtering 方法，并针对过度过滤的问题使用最先进的语言模型来大规模扩增不同的对抗情境。实验结果表明人可以高效地解决我们的任务，而其它竞争模型则表现不佳，未来仍存在大量的研究机会。

    Aug, 2018

  • 神经网络中的权重不确定性

    提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

    May, 2015

  • 领域漂移对在线手写识别的时间序列分类的不确定性感知评估

    本文主要关注基于贝叶斯推理的在线手写识别模型的不确定性量化，特别是针对时空数据的不确定性量化方法。通过采用 SWAG 和 Deep Ensembles 两种方法，对数据和模型的不确定性进行评估，以更好地了解模型，并在右手和左手写手（一个低比例的群体）组合时检测到超出分布的数据和域漂移等方面取得一定效果。

    Jun, 2022