Jul, 2023

自然语言生成的不确定性：从理论到应用

PDF
TL;DR最近强大的语言模型为自然语言生成（NLG）提供了进步，使其不仅可以执行传统任务如摘要或翻译，还可以作为各种应用的自然语言接口。本文首先提出了表示不确定性所需的基本理论、框架和词汇，并从语言学的角度确定了 NLG 中主要的不确定性来源，并提出了一个比流行的整体 / 种类二分法更具信息量和忠实度的二维分类系统。最后，我们从理论转向应用，强调利用不确定性进行解码、可控生成、自我评估、选择性回答、主动学习等的令人兴奋的研究方向。
发现论文，激发创造
  • 自然语言生成增强带有不确定信息的人类决策

    本文比较不同的信息表现形式对人类决策的影响，发现使用自然语言生成（NLG）在不确定情况下可以提高决策水平，在 442 名成年人的任务研究中，NLG 的表现相对于图形表现平均要好 24％，而将 NLG 与图形结合使用可使决策水平提高 44％。同时发现，当使用 NLG 输出时，女性的表现显著优于男性（相对于图形表现增加了 87％）。

    Jun, 2016

  • 自然语言处理中的不确定性：来源、量化与应用

    本文是关于自然语言处理领域内关于神经网络可靠度估计的全面综述，对各种不确定性量化方法和主要应用进行了系统性和归纳性的研究和讨论，并提出了未来研究方向。

    Jun, 2023

  • 评估神经文本生成器的不确定性与人类生产变异之间的关系

    研究了自然语言生成中的目标表达方式的多样性和生成系统的不确定性对于模型的不确定性表示的影响，并通过实例分析表明对生成系统进行探测可以获得对模型不确定性表示的深入理解。

    May, 2023

  • 数字欺骗视角下自然语言生成进展综述

    本文主要探讨自然语言生成器 (NLG) 领域包括方法、评估、任务等方面的相关研究，并特别关注了 NLG 被恶意利用的潜在危险，以及存在的偏见风险。

    Aug, 2022

  • 生成有信心：针对黑盒大型语言模型的不确定性量化

    该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量，提出几个置信度 / 不确定度统计度量标准，并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。

    May, 2023

  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 驾驭灰色地带：语言模型中的过度自信和不确定表达

    本文探究了语言模型在解释和生成不确定表达时的行为，并发现当模型以确定性的语言输出时，模型的准确性会有所下降。这些结果突显了建立有能力解释和生成可信任的不确定表达的语言模型的挑战。

    Feb, 2023

  • 数据驱动的自然语言生成：通向成功之路

    本研究讨论了统计机器学习用于自然语言生成的商业应用的两个主要瓶颈：缺乏可靠的自动评估指标和高质量的领域内语料库。通过彻底分析当前的评估指标并提出需要新的更可靠的指标，我们解决了第一个问题。通过提出一种新的框架来开发和评估用于自然语言生成训练的高质量语料库，我们解决了第二个问题。

    Jun, 2017

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • 有说服力的自然语言生成 -- 文献综述

    此文献综述聚焦于使用自然语言生成 (NLG) 自动检测和生成说服性文本的应用，旨在延伸之前研究的自动识别文本中的说服力的方面，通过将说服力的决定因素概念化为五个业务关注的类别：仁慈、语言适宜性、逻辑论证、可靠性、工具和数据集，重点关注生成方面，这些因素可以使 NLG 增加现有信息的说服力，并发展了进一步研究说服性 NLG 的研究议程，该综述分析了 77 篇文章，概述了现有的知识体系，展示了这一研究领域的稳步进展。

    Jan, 2021