Jun, 2024

上下文序列似然性：增强自然语言生成的置信分数

PDF
TL;DR通过为各种标记分配不同的权重，使用从基础语言模型中产生的注意力值来增强预测的序列概率，我们提出了上下文化的序列可能性（CSL）这一新的评分方法。在几个问答数据集和各种语言模型中，CSL 在预测生成质量方面显示出明显更高的可靠性。
发现论文，激发创造
  • 校准序列似然改进条件语言生成

    本文介绍了序列可能性校准（SLiC）的方法，在序列生成过程中较大束搜索大小时生成质量会下降，通过使用 SLiC 可以不用启用启发式方法，从而显著提高候选解的生成质量。与传统的 MLE 模型相比，我们在许多生成任务中都获得了更好的结果。

    Sep, 2022

  • 大型语言模型中的置信度和概率一致性调查

    通过使用各种数据集和提示技术，本研究探索了大型语言模型（LLMs）内部信心与其对外表达的一致性，其中 OpenAI 的 GPT-4 表现出最强的信心 - 概率对齐性，并有助于评估 LLMs 的风险和提高对模型可信度的认识。

    May, 2024

  • 上下文感知选择性标签平滑以校准序列识别模型

    本文提出了一种基于上下文的选择性标签平滑方法（CASLS），以解决训练过程中的过度拟合问题以及置信度校准问题，通过利用顺序数据中的上下文依赖性来构造混淆矩阵，并使用类特定错误率来调整平滑强度的权重，从而实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明，本文所提出的方法可以实现最先进的性能。

    Mar, 2023

  • 基于似然的大型语言模型评估偏差的缓解

    大型语言模型广泛用于自然语言生成任务的自动评估指标，然而，由于句子中的表面差异（如词序和句子结构），可能会导致语言模型的可能性有所偏差，本文研究了基于语言模型的评估器中可能存在的可能性偏见，并提出了缓解可能性偏见的方法，该方法利用高度偏倚的实例作为少样本示例进行上下文学习，实验证明我们测试的几个语言模型存在可能性偏见，而且我们提出的方法成功地缓解了这种偏见，并显著提高了评估性能（与人类评分的相关性）。

    Feb, 2024

  • 在摘要模型中调整似然函数以求得一致性

    通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。

    Oct, 2023

  • 用校准的置信度评分增强对由 LLM 生成的代码摘要的信任

    通过使用大型语言模型 (LLMs) 自动 AI 方法生成的摘要进行性能测量和校准来检测其是否与人工生成的摘要足够相似。

    Apr, 2024

  • 思维周期：通过稳定解释衡量 LLM 的信心

    通过使用解释蕴涵作为分类器可能性，我们提出了一种框架来测量语言模型不确定性，以改善置信度指标 (AURC 和 AUROC)。

    Jun, 2024

  • 神经语义分析的置信度建模

    本研究致力于神经语义分析器的置信度建模，设计了各种度量标准来估计置信分数和确定哪些输入因素会导致不确定的预测，结论表明我们的模型显著优于传统方法并且提高了模型解释的质量。

    May, 2018

  • 超越概率：揭示大型语言模型评估中的不一致性

    使用大型语言模型（LLMs）进行多项选择题（MCQs）的实证研究表明，概率评估方法在生成预测方面存在内在局限性，与当前评估框架通常基于输出概率而非直接生成回应的计算限制相关，结果强调了 LLMs 评估方法的有效性和未来研究的启示。

    Feb, 2024

  • 大型语言模型中自我评估提高选择性生成

    使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。

    Dec, 2023