EMNLPAug, 2015

自然語言處理模型後驗校準與探索性分析

PDF
TL;DR本文主要讲述了自然语言处理中，对于语言结构的概率分布应当被直接评估，NLP 不确定性不只是管道组件，还应被投影到探索性数据分析中，我们提出了一种分析校准的方法，并将其应用于比较了几个常用模型的误校准情况； 此外，我们还贡献了一种共参采样算法，旨在创建政治事件抽取任务的置信区间。
natural language processingprobabilistic distributionexploratory data analysiscalibrationcoreference sampling algorithm
发现论文，激发创造
  • 探索自然语言处理中的预测不确定性和校准：对方法和数据稀缺性影响的研究

    研究在从低资源语言中采样的数据集上训练模型的情况下，通过多种方法评估和分析神经分类器的预测置信度，发现尽管使用预训练模型和集成模型可以获得最佳结果，但数据集规模增大时不确定性估计的质量可能会受到影响。对序列不确定性进行了定性分析，发现模型的总不确定性在很大程度上受到数据不确定性的影响，并提供了开源的软件包。

    Oct, 2022

  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 句子分类任务上的后验校准训练

    本文提出了一种名为 Posterior-Calibrated Training 的训练方法，直接优化目标，并最小化预测后验概率与经验后验概率的差异，从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。

    Apr, 2020

  • 预测概率的解释：模型置信度还是人工标签变异性？

    研究纸的主要议题和研究领域是 NLP 系统的不确定性评估，并讨论了预测分布对于模型信心和人类标签变化的指示的两种不同观点，推荐工具和展示了关于预测和人类标签不确定性的解耦表示的令人兴奋的方向。

    Feb, 2024

  • 后验概率的重要性：在线广告神经预测的双适应校准

    通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

    May, 2022

  • 基于贝叶斯神经网络的预测不确定性与后验校准对比

    使用贝叶斯神经网络进行预测可以直接模拟预测分布，在小数据组和表格数据中表现竞争力，并与校准神经网络进行比较。

    Sep, 2022

  • 自然语言处理的保形预测：一项概述调查

    快速增长的大型语言模型和自然语言处理（NLP）应用对不确定性量化提出了关键需求，以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架，结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研，指出了未来研究的方向和面临的挑战。

    May, 2024

  • 使用预训练语言模型的不确定性量化：一项大规模经验分析

    该论文研究了基于预训练语言模型的 NLP 任务中的预测流水线如何最小化校准误差，比较了不同选项的表现，并推荐使用 ELECTRA 作为 PLM 编码，尽可能使用更大的 PLM，使用温度调节作为不确定性度量，以及使用 Focal Loss 进行微调。

    Oct, 2022

  • 自然语言处理中的结构化输出预测器校准

    本研究提出了一种用于神经网络模型的预测校准方案，特别是针对命名实体识别、词性标注和问题回答等应用，该方案可以提高模型预测结果的置信度和性能，在领域外测试场景中也表现出卓越的性能。

    Apr, 2020

  • 临床自然语言处理中的半监督学习自动数据标注中的分歧建模

    本研究探讨预测模型在医疗健康领域中的应用，特别是自监督模式下标记数据的超拟合问题，发现高斯过程能够以较高的预测准确性评估指标和平均最大预测置信水平，对 3 种不确定性标签进行风险评估并保持强大的预测力。

    May, 2022