Dec, 2022

如何通过波束搜索提高生成序列标注中的跨度级别置信度估计？

PDF
TL;DR本文旨在提供一些关于如何估计生成序列标注模型的置信度的实证见解，特别是如何可靠地评估模型对每个标记的预测置信度，我们发现，简单地使用解码器的输出概率并不是实现良好校准置信度估计的最佳方法，而我们提出的通过顶部 - k 预测的统计数据的方法，在六个不同任务的公共数据集上得到了验证。
text-to-text generationsequence labelingmodel confidencegenerative sequence labelingbeam search
发现论文，激发创造
  • 通过置信度放宽增强 ASR 解码

    该论文提出了一种解码过程，改进了现有的基于 beam search 的自动语音识别系统中的缺陷，特别是针对最近提出的自监督学习（SSL）模型中高度自信的预测所带来的问题，并且不需要额外的训练以及模型参数，并且在低资源场景中实现了一致的改进。

    Dec, 2022

  • 基于注意力机制的序列到序列模型语音识别置信度估计

    本文探讨如何使用语音识别器的置信度得分来评估转录质量，提出了一种名为信心估计模块（CEM）的轻量化且有效的方法来解决端到端模型的过度置信问题，并发现 CEM 能潜在地改善半监督学习等下游任务。

    Oct, 2020

  • 神经语义分析的置信度建模

    本研究致力于神经语义分析器的置信度建模，设计了各种度量标准来估计置信分数和确定哪些输入因素会导致不确定的预测，结论表明我们的模型显著优于传统方法并且提高了模型解释的质量。

    May, 2018

  • 置信度感知子结构束搜索（CABS）：通过大型语言模型减轻结构化数据生成中的幻觉

    使用大型语言模型（LLMs）生成结构化数据时，为了解决不正确引用或幻觉问题，需要将某种模型置信度方法纳入其中。本研究首先探讨了生成子结构级数据的置信度估计方法，引入了基于 LLM 变换器的 Confidence Network 概念，作为比传统的标记条件概率更有针对性的估计。其次，我们提出了 Confidence-Aware 子结构级 Beam Search（CABS），这是一种在结构化数据生成中操作子结构级别的新型解码方法。CABS 通过考虑 Confidence Network 为每个子结构级数据提供的置信度分数，并迭代优化提示信息，提高结构化数据生成的可靠性。结果表明，CABS 相比传统的标记级别 Beam Search，在产品属性生成问题上平均提高 90% Precision 下的回召率达到 16.7%。

    May, 2024

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 依约束的自回归生成：带有覆盖保证的束搜索

    通过引入根据符合性预测的束搜索算法的两个新扩展，我们可以生成带有理论覆盖保证的序列集合。首个方法非常简单且建议动态大小的束搜索结果子集，但与典型的符合性预测过程不同，其可行保证取决于事后校准测量。我们的第二个算法将符合性集预测过程引入解码过程，产生一个适应当前不确定性的可变束宽度。尽管更加复杂，该程序可以实现预先选择的覆盖保证。我们为每种方法提供了边际覆盖保证，并在绘制自然语言处理和化学方面的多个任务的选择中对其进行了实证评估。

    Sep, 2023

  • 超级标签中 Beam-Aware 训练的实证研究

    本文实证研究了结构化预测方法中的基于局部标准化模型的最大似然训练和基于波束搜索的近似解码的问题，提出基于波束的训练算法来解决这一问题并探究了其对模型性能的影响与稳定性，结论表明波束训练可有效提高模型性能并建议模型学习中采用搜索以最大化模型效果。

    Oct, 2020

  • 通过层聚合增强语音识别解码

    本文对几种语音识别模型进行了实验，发现使用顶层预测的逻辑可以阻碍光束搜索算法实现最佳结果；然后，进行了层分析，提出了一种汇聚前 M 层的预测方法，通过束搜索解码来展示方法的有效性，并在 Librispeech 测试集中实现了 WER 和 CER 分别减少高达 10% 和 22%。

    Mar, 2022

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 一种基于贝叶斯方法的众包序列标注技术

    本研究提出了一种用于聚合序列标记的贝叶斯方法，该方法通过对注释者的误差和模拟注释的困难度进行建模，有效地减少了常见的跨度注释错误。 通过在命名实体识别，信息抽取和论证挖掘方面进行 crowdsourced 数据的评估，表明我们的序列模型优于以前的现有技术，并且可以通过更有效的主动学习来降低众包成本。

    Nov, 2018