Mar, 2022

自然语言生成中的忠实度：分析、评估和优化方法的系统调查

PDF
TL;DR本文系统综述了自然语言生成（NLG）的忠实度问题和相关评估方法和优化方法，并将不同任务的评估和优化方法组织在一个统一的分类中，以促进不同任务之间的比较和学习。
natural language generationdeep learningfaithfulness problemevaluation metricsoptimization methods
发现论文，激发创造
  • 自然语言生成数据集中数据错误的追踪和清除

    该研究提出了一种框架，利用基于对比度的算法识别和清除训练数据中的一些低质量样本，从而实现减少自然语言生成任务中的幻觉和不忠实输出的目的。

    Dec, 2022

  • 自然语言处理中的模型解释研究综述

    本综述通过对忠实度的镜头，回顾了超过 110 种自然语言处理中的模型解释方法。我们考虑了忠实度的定义和评估，以及它对可解释性的重要性，并将现有方法分为五类。最后，我们总结了它们的共同优点和未解决的挑战，并反思了未来的研究方向。

    Sep, 2022

  • 略施推力，NLI 模型可鲁棒高效地预测忠实度

    本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

    May, 2023

  • 数字欺骗视角下自然语言生成进展综述

    本文主要探讨自然语言生成器 (NLG) 领域包括方法、评估、任务等方面的相关研究，并特别关注了 NLG 被恶意利用的潜在危险，以及存在的偏见风险。

    Aug, 2022

  • 以基于基础语言模型的零 - shot 忠诚度评估文本摘要

    提出一种新指标 FFLM，结合基于概率变化的方法评估生成模型的忠实度，相比于强基准模型 ChatGPT 拥有更少的参数，并在不一致性检测和忠实度评分方面表现出竞争性和优越性的改进。

    Oct, 2023

  • 使用大型语言模型生成真实的合成数据：计算社会科学案例研究

    该研究论文介绍了采用基于 grounding、过滤和分类系统的生成方法来提高合成数据的准确性，并在讽刺检测任务中对比研究了三种方法以提高准确性，评估证明 Grounding 方法更为有效，该研究提供了合成数据高保真性的一些建议。

    May, 2023

  • 文本生成的评估：一项调查

    该文章调查了近年来开发的自然语言生成（NLG）系统的评估方法。将 NLG 评估方法分为三类，讨论了每种类别取得的进展和仍然面临的挑战，重点关注最近提出的 NLG 任务和神经 NLG 模型的评估。最后提出了自动文本摘要和长文本生成的两个任务特定的 NLG 评估示例，并提出了未来的研究方向。

    Jun, 2020

  • 基准测试忠实度：关于在视觉语言任务中实现准确的自然语言解释

    本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。

    Apr, 2023

  • 自然语言生成的不确定性：从理论到应用

    最近强大的语言模型为自然语言生成（NLG）提供了进步，使其不仅可以执行传统任务如摘要或翻译，还可以作为各种应用的自然语言接口。本文首先提出了表示不确定性所需的基本理论、框架和词汇，并从语言学的角度确定了 NLG 中主要的不确定性来源，并提出了一个比流行的整体 / 种类二分法更具信息量和忠实度的二维分类系统。最后，我们从理论转向应用，强调利用不确定性进行解码、可控生成、自我评估、选择性回答、主动学习等的令人兴奋的研究方向。

    Jul, 2023

  • 公平自然语言生成的定义和评估

    本文针对自然语言生成任务中出现的偏见展开研究，并提出一个公平性框架加以评估，分析发现现有的语言生成模型存在性别偏见。

    Jul, 2020