Oct, 2022

神经文本生成需求对比搜索

PDF
TL;DR本研究评估了 16 种主要语言的自回归 LMs 的各向同性，并推出一个校准自回归 LMs 表示的对比学习方案，并基于此方案提出了一种新的解码方法，称为对比搜索，它在各种各样的基准测试中取得了最新的成果，显示出其高度的性能，无需任何附加的训练，其中在 16 个被评估的语言中有 12 个语种比人类评估得分相当。
autoregressive language modelscontrastive searchisotropynatural language processingsemantic consistency
发现论文，激发创造
  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022

  • ContraGen：用于因果语言模型的有效对比学习

    本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。

    Oct, 2022

  • 超越对比学习：一种多语言检索的变分生成模型

    本文提出了一种新的多语种文本嵌入生成模型 —— VMSST，通过在 $N$ 种语言的并行数据上运行，通过一个引入的近似算法，在多语种语境中鼓励源分离，我们在比较学习多语种文本嵌入的对比和基于生成的方法时，对其进行了仔细的大规模比较，并对其进行了语义相似性、位文本挖掘、跨语言问题检索等任务的评估，从而证明了其优越性。

    Dec, 2022

  • 对比解码提升大型语言模型的推理能力

    利用对比解码方法生成的文本展现在各种推理任务中相比贪婪解码有着显著的提升，并在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、GPT-3.5 和 PaLM-540B，同时在其他任务中也有进步。分析表明，对比解码通过防止一些抽象推理错误和避免简单的复制输入部分来改善现有方法，从而在长文本生成和推理任务方面优于核心取样和贪婪解码，使其成为从语言模型生成文本的强大通用方法。

    Sep, 2023

  • 基于对比学习的语言无关多语种信息检索

    通过利用平行语料库和非平行语料库，采用对比学习等方法，有效提高了预训练多语言语言模型的跨语言传递能力，同时显著提高了检索性能，且计算成本较低。

    Oct, 2022

  • 对比解码：作为优化的开放式文本生成

    本文提出一种基于对比解码的生成算法，将大型语言模型与小型语言模型相比较，找出高质量的文本生成结果，并在自动和人工评估中优于四种强大的解码算法。

    Oct, 2022

  • 探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

    通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

    Jun, 2023

  • CoNT: 对比神经文本生成

    本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

    May, 2022

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 通过等向和近端搜索实现细粒度对话解码

    我们提出了一种细粒度对话解码方法，称为各向同性和邻近搜索（IPS）。实验证明，我们的方法在对话领域的解码策略中优于现有方法，无论是在自动评估指标还是人工评估指标上。

    Oct, 2023