Jun, 2024

利用对比学习建模文本生成的比较逻辑关系

PDF
TL;DR我们提出了一种基于比较逻辑的文本生成方法，通过对比学习来生成具有特定比较逻辑关系的文本，以正确地生成关系。我们构建了一个高质量的人工注释数据集，该数据集具有多个实体的描述和与它们的比较逻辑关系的注释，并进行了广泛的实验，结果在自动评估和人工评估中都取得了令人印象深刻的性能。
data-to-text generationcomparative logical relation generationcomparative logiccontrastive learningchinese comparative logical relation dataset
发现论文，激发创造
  • GCRE-GPT: 一种用于比较关系提取的生成模型

    本文提出一种基于生成模型的比较关系提取器 (GCRE-GPT)，能够直接从文本中高精度地提取出比较关系，并在两个数据集上取得了最先进的准确性。

    Mar, 2023

  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 基于逻辑驱动数据增强的对比学习，用于文本推理

    该论文提出了基于 AMR-LE 方法的数据增广技术，并使用对比学习训练语言模型，可以在多个 NLP 任务中提高性能表现，包括 ReClor，LogiQA，MNLI，MRPC，RTE，QNLI 和 QQP。

    May, 2023

  • 通过反事实样本研究从逻辑形式生成自然语言的鲁棒性

    Logic2Text 是为生成受表格和逻辑形式控制的、忠实的文本而设计的，要求进行深入的表格和逻辑形式理解，并对表格进行符号推理。该研究提出使用因果视角分析偏差，并提出一种使用逻辑形式的分层结构和对抗数据进行训练的方法以减轻该偏差的影响，从而发展出具有真正逻辑推理能力的逻辑生成模型。

    Oct, 2022

  • CoNT: 对比神经文本生成

    本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

    May, 2022

  • CoCo: 在数据限制下利用对比学习增强一致性的机器生成文本检测

    本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

    Dec, 2022

  • 通过描述性关系提示和对比学习进行句子级别关系提取

    本文提出了一种新的范式 —— 具有描述性关系提示和对比学习的对抗性学习 (CTL-DRP)，用于共同考虑实体信息、关系知识和实体类型限制，通过提出的方法，在 TACRED 上获得了 76.7% 的竞争性 F1 - 分数，在 TACREV 和 Re-TACRED 都达到了 85.8% 和 91.6% 的最高水平表现。

    Apr, 2023

  • 大语言模型文本的成对比较扩展中的概念导向思路引导

    利用生成型大型语言模型的模式识别能力，提出了一种文本缩放方法，该方法利用设计的提示生成概念特定的细分，将文本比较转变为模式识别问题，并使用 Bradley-Terry 模型估计一个规模，以测量 Twitter 上的情感言论。

    Oct, 2023

  • TDCGL: 两级去偏对比图学习用于推荐

    本研究提出了基于知识图谱的推荐方法存在对高质量知识图谱的过度依赖问题，并介绍了两级无偏对比图学习（TDCGL）模型，该模型通过引入对比学习和降噪方法，解决了实体分布不均和噪声问题，从而提高推荐模型的性能。

    Oct, 2023

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019