Feb, 2024

词序熵：面向自由形式医学问答应用及其他领域的不确定性估计

PDF
TL;DR我们提出了一种 Word-Sequence Entropy (WSE) 的方法，用于在医学问答任务中对不确定性进行量化，通过语义相关性在词和序列级别上校准不确定性比例，在不需额外的任务特定微调或架构修改的情况下，通过 WSE 识别低不确定性的序列作为最终答案，实现在现实世界医学问答应用中的显著性能提升。
uncertainty estimationhuman-ai interaction systemsmedical question-answeringword-sequence entropyfree-form medical qa datasets
发现论文，激发创造
  • 语义不确定性：自然语言生成中不确定性估计的语言不变性

    本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

    Feb, 2023

  • 歧义遇到不确定性：探索词义消歧的不确定性估计

    本文针对单词语义消歧（WSD）问题，对现有的监督学习方法在真实世界场景中处理噪声和分布不均问题时不足的问题进行研究。首先比较了几种不确定性评分方法，然后通过测试场景对数据和模型的不确定性进行分析并探究了对其产生影响的多种词汇属性。

    May, 2023

  • 自然语言生成中的主观不确定性量化和校准

    利用贝叶斯决策理论的视角，本研究通过假设我们的效用是通过比较生成的回答和理论上的真实回答的相似度来衡量，从而解决了大语言模型生成自由形式回答时的不确定性量化问题。我们进一步从缺失数据的角度推导出一种表征为过量风险的认知不确定性衡量方法。所提出的方法可以应用于黑盒语言模型，并在问答与机器翻译任务上展示了如何从 GPT 和 Gemini 模型中提取具有广泛意义的不确定性估计并量化它们的校准度。

    Jun, 2024

  • 领域漂移对在线手写识别的时间序列分类的不确定性感知评估

    本文主要关注基于贝叶斯推理的在线手写识别模型的不确定性量化，特别是针对时空数据的不确定性量化方法。通过采用 SWAG 和 Deep Ensembles 两种方法，对数据和模型的不确定性进行评估，以更好地了解模型，并在右手和左手写手（一个低比例的群体）组合时检测到超出分布的数据和域漂移等方面取得一定效果。

    Jun, 2022

  • 核心语言熵：基于语义相似性的 LLMs 细粒度不确定性量化

    在大型语言模型中，不确定性量化对于关系到安全性和可靠性的应用至关重要。我们提出了 Kernel Language Entropy（KLE），这是一种用于估计白盒和黑盒语言模型中不确定性的新方法，它能够捕捉到模型输出的语义不确定性，并通过 von Neumann 熵来量化不确定性。实验证明，KLE 在多个自然语言生成数据集和语言模型架构上提供了更好的不确定性量化性能。

    May, 2024

  • 针对结构化电子病历的问答不确定性感知文本转程序

    本文设计了程序为基础的模型（NLQ2Program）以利于未来拓展医疗多模态数据和解决复杂推理的电子健康记录问答任务，该模型在没有金标程序的情况下表现良好，运用不确定性分解方法可测度输入问题的模糊性。

    Mar, 2022

  • QuaSE: 可量化指导下的精准文本风格转移

    本文提出了一种 Quantifiable Sequence Editing（QuaSE）任务，通过两个潜在的因素 (disentangled factors)：outcome factor 和 content factor 实现只编辑与 outcome value 有关的单词，从而更好地满足所需的 outcome value 并保持内容不变。该方法在 Yelp 评论数据上进行了评估，并取得了良好的实验结果。

    Apr, 2018

  • 自我批评序列训练用于自动语音识别

    本文提出了一种基于损失函数和词错误率的奖励函数的增强学习方法 —— 自我关键序列训练 (SCST) 来解决自动语音识别中的若干问题，取得了 8.7% 和 7.8% 的词错误率相对改进。

    Apr, 2022

  • 稳定熵假设和熵感知解码：鲁棒自然语言生成的分析与算法

    本论文提出，当语言生成模型用于文本完成，故事生成或对话建模等开放性文本生成问题时，最先进的语言生成模型可能会退化。我们发现近似平坦熵带内的生成更为 “人类化”，而模型违反熵的这些限制通常会导致退化。因此，我们提出了一种基于熵的解码算法，以生成更具语境感和 “人类化” 的文本。

    Feb, 2023

  • 思考的不确定性：不确定性感知规划增强大型语言模型中的信息搜索

    通过模拟、激励和奖励机制，引入了一种名为不确定性思考（UoT）的算法来提高大型语言模型在主动寻求信息方面的能力。在医学诊断、故障排除和 '20 个问题 ' 游戏的实验中，UoT 相较于直接提示的方式，在成功完成任务的速度上平均提高了 57.8%，同时也提高了任务完成所需的效率（即问题数量的减少）。

    Feb, 2024