Oct, 2022

探索自然语言处理中的预测不确定性和校准：对方法和数据稀缺性影响的研究

PDF
TL;DR研究在从低资源语言中采样的数据集上训练模型的情况下，通过多种方法评估和分析神经分类器的预测置信度，发现尽管使用预训练模型和集成模型可以获得最佳结果，但数据集规模增大时不确定性估计的质量可能会受到影响。对序列不确定性进行了定性分析，发现模型的总不确定性在很大程度上受到数据不确定性的影响，并提供了开源的软件包。
neural classifierlow-resource languagespredictive confidenceensemble modelsdata uncertainty
发现论文，激发创造
  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 自然語言處理模型後驗校準與探索性分析

    本文主要讲述了自然语言处理中，对于语言结构的概率分布应当被直接评估，NLP 不确定性不只是管道组件，还应被投影到探索性数据分析中，我们提出了一种分析校准的方法，并将其应用于比较了几个常用模型的误校准情况； 此外，我们还贡献了一种共参采样算法，旨在创建政治事件抽取任务的置信区间。

    Aug, 2015

  • 评估数据集偏移下模型预测不确定性的可信度

    以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

    Jun, 2019

  • 通过查看模型解释来解释预测不确定性

    提取存在负面贡献性的词语可以解释使用预训练语言模型预测不确定性，这是对于模型决策辅助的重要补充，实验证明这项技术在模型解释和人类理解模型预测行为方面不可或缺。

    Jan, 2022

  • 文件分类中的不确定性缓解

    本篇论文提出了一种基于神经网络和新型 dropout - 熵测量方法的模型以及基于特征表示的度量学习方法，可以更精确地预测，提高分类器的预测准确性，尤其在医学诊断等需要确定不确定预测的领域有广泛的应用。

    Jul, 2019

  • 审慎行事：大型语言模型下的不确定性测量的探索性研究

    从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

    Jul, 2023

  • 表征代理校准及消除标注员和数据偏差的不确定性来源

    本文提出了一种简单的 Monte Carlo Dropout 算法，可以显式地量化神经网络输出的不确定性，利用此种不确定性可以解释模型复杂现象、如情感识别，此外也可以用于辨别主观标记样本和数据偏差的问题。

    Sep, 2019

  • 缓解大型语言模型的数据稀缺问题

    本文研究了使用数据增强和神经集成学习技术来减轻预训练神经语言模型在医学或低资源语言等特定领域中的数据稀缺问题。实验结果表明，这些简单有效的解决方案可以显著提高这些领域下神经语言模型的性能。

    Feb, 2023

  • 机器翻译质量评估中的预测不确定性探讨

    探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

    Jun, 2016