Oct, 2022

信息过滤于多样性改进解码中用于自然语言生成中的多样性 - 忠实度平衡

PDF
TL;DR本文提出了一种名为 IFDID 的信息过滤方法，通过在两个阶段增加一些典型词汇的选择概率并通过信息量过滤它们，实现多样性和忠实度之间的平衡，相较于传统方法，IFDID 在 ROUGE 得分方面提高了 1.24 分，表示其在多样性及忠实度之间的平衡方面具有创新性。
发现论文，激发创造
  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 神经生成的简单快速多样解码算法

    该论文提出了一种简单快速的解码算法，在神经生成过程中促进多样性，评估结果表明，多样性解码有助于各种任务，特别是在需要重新排名的任务中，并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化，通过强化学习技术实现，观察到进一步的性能提升。

    Nov, 2016

  • 对话响应中的解码算法如何分配信息？

    研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生成更高质量的响应，相反，鼓励非一致性响应则是解决质量退化问题的潜在解决方案。

    Mar, 2023

  • RFiD：用于开放领域问答的理性融合解码器

    介绍一种用于 Open-Domain Question Answering 系统的 Rational Fusion-in-Decoder (RFiD) 模型，该模型利用 FiD 的编码器来区分因果关系和虚假特征，从而指导解码器生成基于此判断的答案，并在两个 ODQA 数据集上实现了最高 1.5 和 0.7 的精确匹配得分提高

    May, 2023

  • 多粒度引导的解码中融合

    在开放领域问答系统中，为了避免检索到的结果中出现不相关和虚假的上下文，通过多层次的粒度来识别相关证据的融合解码器模型被提出，该模型在多任务学习的基础上，通过将显著的句子聚合为一个锚向量来指导解码器，并通过复用重排列结果来提高解码效率。实验证明，该模型在自然问题和文学问题数据集上的性能优于现有模型，凸显了其多粒度解决方案的好处。

    Apr, 2024

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 丰富保真度的对比搜索：在文本生成中协调忠实度与多样性的权衡

    本文针对自然语言生成任务中常见的幻觉问题提出了一种新的解码方法，称为忠实度增强对比搜索（FECS），该方法通过上下文感知的正则化项来增强语义上与提供的来源相似的标记，同时对生成文本的重复性进行惩罚。在抽象化摘要和对话生成两个容易产生幻觉的任务中，我们展示了 FECS 的有效性。结果表明，FECS 不仅能够在不同的语言模型大小上持续提升忠实度，而且还能保持与性能良好的解码算法相当的输出多样性。

    Oct, 2023

  • 基于推理时自适应优化的语言生成中的统一去毒化和去偏见处理

    通过提出第一种统一框架 UDDIA 来解决自然语言生成中的道德问题，该框架同时解決了去除偏见和毒性语言的问题，并提升了文本生成性能。

    Oct, 2022

  • 面向忠实度的抽象化摘要生成解码策略

    研究从生成技术角度对抽象摘要生成中的准确性进行了系统研究，发现大的 beam size 下的 beam search 生成最真实的摘要，而核采样生成的最不真实，同时提出了两种新的技术以进一步提高准确性。

    Mar, 2023

  • 通过 AI 反馈实现质量与多样性

    通过 AI 反馈引导的 QDAIF 与非 QD 控制组相比，在创意写作领域覆盖更大范围，生成高质量样本；同时，QDAIF 生成的创意文本经人工评估验证与人类评估具有合理的一致性，突显了 AI 反馈在引导开放式创意搜索方面的潜力。

    Oct, 2023