Jul, 2024

基于最近邻的高效自然语言处理任务不确定性估计

PDF
TL;DR深度神经网络中的可信预测对于现实世界中的安全关键应用至关重要。本研究提出了 $k$ 最近邻不确定性估计方法，通过邻居之间的距离和邻居的标签存在比例来提高置信度和预测效果，并在情感分析、自然语言推理和命名实体识别方面表现出色。
deep neural networksuncertainty estimation$k$-nearest neighborconfidence calibrationout-of-distribution detection
发现论文，激发创造
  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 分子不确定性估计：要求和方法

    本研究使用以图神经网络为代表的机器学习技术对分子动力学进行高效计算，提出了一种新的基于高斯过程扩展的局部神经核，开创了分子力场不确定性估计的先河，实验结果表明该方法性能明显优于现有技术。

    Jun, 2023

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 通过最近邻校准提高语言模型的少样本性能

    本文提出了一种基于最近邻校准框架的预训练语言模型（PLMs）的上下文学习方法，该方法获得了显著的改进，并在某些情感分析任务中实现了与基于调优的方法相当的性能。

    Dec, 2022

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 神经机器翻译最近邻知识蒸馏

    本文提出一种改进机器翻译模型的方法，即将 NN search 前置，并通过最近邻知识蒸馏（NN-KD）训练基本 NMT 模型直接学习 NN 知识，可以更好地解决机器翻译中的过度纠正问题，并在保持训练和解码速度不变的情况下，实现了比 NN-MT 等现有方法更好的结果。

    May, 2022

  • 重访预训练语言模型的 k-NN

    本文介绍了如何将 k - 最近邻分类器与预训练语言模型相结合以提高自然语言处理的效率，具体方法是采用 k - 最近邻分类器对预训练语言模型进行文本表示，通过校准训练过程来掌握具体实例的困难度，并将校准结果与预训练语言模型的分类器相结合。

    Apr, 2023

  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • 基于距离的正则化提升节点分类中的不确定性量化

    深度神经网络在过去几十年取得了重大成功，但它们没有很好的校准性，经常产生不可靠的预测。本文关注于不确定性量化在依赖节点级分类中的应用，并提出了改进的正则化方法来提高分类模型的可靠性。经过大量实验证明，在超过分布检测和误分类检测的应用场景中，提出的正则化方法优于目前的最新技术。

    Nov, 2023