Nov, 2022

对比式搜索与对比式解码在开放式文本生成中的实证研究

PDF
TL;DR本研究比较了两种最近提出的解码方法，即对比搜索（CS）和对比解码（CD），发现尽管 CS 在 MAUVE 指标上表现不佳，但在多样性和连贯性指标上大大超过 CD。人工评估显示，人类注释器普遍更喜欢 CS 而非 CD，MAUVE 与人工评估之间的矛盾表明 MAUVE 不准确反映人类偏好，需要开发更好的评估指标来确保生成结果的可复制性。
open-ended text generationcontrastive searchcontrastive decodingevaluation metricshuman preferences
发现论文，激发创造
  • 对比解码：作为优化的开放式文本生成

    本文提出一种基于对比解码的生成算法，将大型语言模型与小型语言模型相比较，找出高质量的文本生成结果，并在自动和人工评估中优于四种强大的解码算法。

    Oct, 2022

  • 对比解码提升大型语言模型的推理能力

    利用对比解码方法生成的文本展现在各种推理任务中相比贪婪解码有着显著的提升，并在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、GPT-3.5 和 PaLM-540B，同时在其他任务中也有进步。分析表明，对比解码通过防止一些抽象推理错误和避免简单的复制输入部分来改善现有方法，从而在长文本生成和推理任务方面优于核心取样和贪婪解码，使其成为从语言模型生成文本的强大通用方法。

    Sep, 2023

  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022

  • 通过自适应解码改善开放式文本生成

    当前语言模型以概率分布逐词解码文本，本研究引入了自适应解码机制，使语言模型能够在生成过程中动态地确定合理的候选集。实验结果显示我们的方法在故事生成任务中实现了更高的 MAUVE 和多样性，同时保持了一定的连贯性，凸现了其优越性。

    Feb, 2024

  • 利用对比输入解码揭示大型语言模型中的偏见

    提出对比性输入解码算法 (CID) 来量化大型语言模型对不同输入的行为变化，发现标准解码策略未能检测到的特定语境偏差。

    May, 2023

  • 利用发散前沿测量神经文本与人类文本之间的差距的 MAUVE

    介绍了 MAUVE 作为一种比较度量开放式文本生成的测量方法，通过分析信息的分布差异来判断机器生成文本与人类语言之间的距离，实验结果表明，MAUVE 可以有效评估生成文本质量，并与人类判断高度相关。

    Feb, 2021

  • 投机的对比解码

    通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

    Nov, 2023

  • CoCoSoDa: 代码搜索的有效对比学习

    本文提出了 CoCoSoDa 的方法，充分利用了对比学习进行代码搜索方面应用的两个关键因素：数据扩充和负样本。该方法使用软数据扩充技术生成正样本，使用动量机制生成一致的负样本表示，使用多模式的对比学习方法，既拉紧了代表代码 - 查询对的表示，又将不成对的代码片段和查询推开。对大型数据集进行的广泛实验表明，该方法的性能显著优于 14 个基线，并在平均 MRR 分数上分别超过 CodeBERT、GraphCodeBERT 和 UniXcoder 的 13.3％、10.5％和 5.9％。

    Apr, 2022

  • 神经文本生成器的解码策略

    该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。

    Mar, 2022

  • 神经文本生成需求对比搜索

    本研究评估了 16 种主要语言的自回归 LMs 的各向同性，并推出一个校准自回归 LMs 表示的对比学习方案，并基于此方案提出了一种新的解码方法，称为对比搜索，它在各种各样的基准测试中取得了最新的成果，显示出其高度的性能，无需任何附加的训练，其中在 16 个被评估的语言中有 12 个语种比人类评估得分相当。

    Oct, 2022