EMNLPOct, 2023

对话推理的对比学习

PDF
TL;DR推理，尤其是归纳过程中产生的推理，是我们通过补充发言者隐含或明示传达的信息来进行对话的重要组成部分。然而，尽管最近的大型语言模型在推理任务方面取得了显著进展，但它们在归纳推理（不是所有信息都在上下文中出现）方面的表现远远落后于演绎推理。在本文中，我们通过基于语义信息差异定义的任务难度来分析模型的行为，从而区分归纳和演绎推理（Johnson-Laird，1988 年，1993 年）。我们的分析揭示了对话背景和所需推理之间信息差异的显著挑战，缓解这种信息差，我们研究了一种对比学习的方法，通过提供负样本进行训练。我们的实验表明，负样本有助于模型理解错误之处并改善推理生成。
发现论文，激发创造
  • 对比学习反转数据生成过程

    使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

    Feb, 2021

  • 大型语言模型中的不完全循环：演绎、归纳和演绎学习

    通过研究不同类型的推理方式，以及对语言模型进行的指令跟随、少样本提示和指令推断实验，我们发现即使在一些最大的语言模型中，推理的方式仍然是非系统性的，不同的学习机制可能被看似相似的提示程序调用。

    Apr, 2024

  • 自然语言推理的对偶级别监督对比学习

    本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

    Jan, 2022

  • 神经对话生成的分组对比学习

    本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

    Sep, 2020

  • 通过多级对比学习增强对话生成

    本文提出了一种多层对比学习模型，用于模拟回复的细粒度质量。通过设计一个排名感知校准网络和关键词知识推断组件，提高响应的相关性和多样性。实验结果表明，与基线模型相比，该模型能够生成更相关且多样化的回复。

    Sep, 2020

  • 通过对比学习提高知识驱动对话的稳健性

    基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

    Jan, 2024

  • 用于上下文常识推理的对抗变换器语言模型

    本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

    Feb, 2023

  • 机器学习对矛盾检测模型的语言学研究：实证分析和未来展望

    分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。

    Oct, 2022

  • 一种多级有监督对比学习框架用于低资源自然语言推断

    本文提出了一种多级有监督对比学习框架 MultiSCL，该框架使用句子级和对级对比学习目标，在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示，经实验证明，在低资源设置中，MultiSCL 的准确率比其他模型平均高 3.1％，且在文本分类的跨域任务中优于以前的最新方法。

    May, 2022

  • 人类和大型语言模型在演绎推理中的推理策略比较

    该研究通过对大型语言模型在命题逻辑问题上的响应进行细致评估，利用认知心理学原理探讨了模型使用的推理策略。结果发现，大型语言模型展示出类似于人类的推理模式，包括 “解释跟踪” 和 “链式构建” 等策略。此外，该研究表明模型的架构和规模显著影响其首选的推理方法，较先进的模型更倾向于频繁使用这些策略。模型的准确性并不必然反映其推理过程的有效性，这一区别强调了该领域需要更为精细的评估程序。

    Feb, 2024