EMNLPSep, 2021

科学交流中句子级别和方面级别的（不）确定性测量

PDF
TL;DR该研究介绍了一种新的确证度研究方法，该方法可以对科学发现的确证度水平和方面进行建模，并证明单独依赖模糊语无法完全解释确证度，该研究还证明了对句子级和方面级的确证度建模对科学沟通等领域是有意义的。
certaintyuncertaintyhedgeslanguage modelsscience communication
发现论文，激发创造
  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 语义不确定性：自然语言生成中不确定性估计的语言不变性

    本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

    Feb, 2023

  • 「您应该阅读此文」：文本中的对冲检测

    通过应用联合模型，结合词语和词性标记以提高文本中的避险检测能力，并在 CoNLL-2010 维基百科语料库上取得新的最高得分。

    May, 2024

  • 驾驭灰色地带：语言模型中的过度自信和不确定表达

    本文探究了语言模型在解释和生成不确定表达时的行为，并发现当模型以确定性的语言输出时，模型的准确性会有所下降。这些结果突显了建立有能力解释和生成可信任的不确定表达的语言模型的挑战。

    Feb, 2023

  • 依赖不可靠之处：语言模型不愿表达不确定性的影响

    AI 与人类交互时，自然语言作为默示接口，需要全面地传达语言模型关于回复的不确定性。研究发现，现有的语言模型在回答问题时无法表达不确定性，导致高错误率。人类在实验中过分依赖于语言模型生成的回复，而且存在对不确定性回复的偏见。因此，该研究提出设计建议和缓解策略，以应对人类与语言模型互动中的新一套安全危害。

    Jan, 2024

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 探索自然语言处理中的预测不确定性和校准：对方法和数据稀缺性影响的研究

    研究在从低资源语言中采样的数据集上训练模型的情况下，通过多种方法评估和分析神经分类器的预测置信度，发现尽管使用预训练模型和集成模型可以获得最佳结果，但数据集规模增大时不确定性估计的质量可能会受到影响。对序列不确定性进行了定性分析，发现模型的总不确定性在很大程度上受到数据不确定性的影响，并提供了开源的软件包。

    Oct, 2022

  • 语言模型中的不确定性：通过排名校准进行评估

    开发了一种名为 “Rank-Calibration” 的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

    Apr, 2024

  • UnScientify：检测学术全文中的科学不确定性

    UnScientify 是一个交互系统，利用弱监督技术和细粒度注释方案，以句子级别识别科学文献中的科学不确定性，并通过模式匹配、复杂句检查和作者参考检查的组合进行实现，自动标记科学不确定性，可应用于信息检索、文本挖掘和学术文档处理等多种应用，并提供可解释的结果以帮助理解文本中识别到的科学不确定性实例。

    Jul, 2023

  • 用语言模型区分可知与不可知

    通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

    Feb, 2024