May, 2023

评估神经文本生成器的不确定性与人类生产变异之间的关系

PDF
TL;DR研究了自然语言生成中的目标表达方式的多样性和生成系统的不确定性对于模型的不确定性表示的影响，并通过实例分析表明对生成系统进行探测可以获得对模型不确定性表示的深入理解。
natural language generationcommunicative goalshuman production variabilitygeneration systemmodel representation of uncertainty
发现论文，激发创造
  • 自然语言生成的不确定性：从理论到应用

    最近强大的语言模型为自然语言生成（NLG）提供了进步，使其不仅可以执行传统任务如摘要或翻译，还可以作为各种应用的自然语言接口。本文首先提出了表示不确定性所需的基本理论、框架和词汇，并从语言学的角度确定了 NLG 中主要的不确定性来源，并提出了一个比流行的整体 / 种类二分法更具信息量和忠实度的二维分类系统。最后，我们从理论转向应用，强调利用不确定性进行解码、可控生成、自我评估、选择性回答、主动学习等的令人兴奋的研究方向。

    Jul, 2023

  • 自然语言生成任务的实用生产策略探索

    提出一种自然语言生成系统设计的概念框架，以实现复杂的交际目标，并通过现代统计方法提供针对目标、成本和效用的具体建议。同时，倡导开发可以通过类人的方式推理目标、成本和效用的 NLG 系统。

    Oct, 2022

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 自然语言生成增强带有不确定信息的人类决策

    本文比较不同的信息表现形式对人类决策的影响，发现使用自然语言生成（NLG）在不确定情况下可以提高决策水平，在 442 名成年人的任务研究中，NLG 的表现相对于图形表现平均要好 24％，而将 NLG 与图形结合使用可使决策水平提高 44％。同时发现，当使用 NLG 输出时，女性的表现显著优于男性（相对于图形表现增加了 87％）。

    Jun, 2016

  • 生成有信心：针对黑盒大型语言模型的不确定性量化

    该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量，提出几个置信度 / 不确定度统计度量标准，并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。

    May, 2023

  • 压缩、转换和创造：一个评估自然语言生成的统一框架

    本文提出了一种统一的自然语言生成（NLG）任务评估度量方法，基于信息对齐的概念，通过设计可解释的度量标准并使用自监督模型实现了度量方法的操作化，结果表明所提出的统一设计度量方法在各种 NLG 实验中具有比现有度量方法更强的相关性。

    Sep, 2021

  • 驾驭灰色地带：语言模型中的过度自信和不确定表达

    本文探究了语言模型在解释和生成不确定表达时的行为，并发现当模型以确定性的语言输出时，模型的准确性会有所下降。这些结果突显了建立有能力解释和生成可信任的不确定表达的语言模型的挑战。

    Feb, 2023

  • 拆解自然语言生成评估：评估实践、假设及其影响

    通过对 18 位自然语言生成技术从业者的形成性半结构化访谈和 61 位从业者的调查研究，我们展示了影响自然语言生成技术评估的目标、社区实践、假设和约束，以及它们所体现的伦理考虑。

    May, 2022

  • 预测下一个单词：人类在此任务中表现出的不确定性及语言模型

    语言模型相对于人类生成的文本是否准确地表达语言变异性，以及 GPT2、BLOOM 和 ChatGPT 在从统计层面上评估这种能力时的失调问题和预期校准误差的失效问题。

    Feb, 2024

  • 不确定性决定了序列到序列模型的适用性和解码的可操作性

    通过测量自然语言处理中 intristic uncertainty 的程度，我们发现它会对搜索过程的归纳偏差和精确搜索的复杂度等方面产生重大影响，并提出了一种新的精确搜索算法用于神经序列模型，发现 intristic uncertainty 会影响模型的不确定性，从而导致概率质量过度分散。

    Apr, 2022