EMNLPSep, 2021

利用上下文作为正则化器的 ConRPG: 意译生成

PDF
TL;DR本文提出了一种基于无监督范式的释义生成方法，思路基于生成相同含义的两个句子的概率应该相同，提出了一种由基于上下文语言模型生成释义候选项、使用评分函数进行候选项过滤、基于筛选的候选项进行释义模型训练的管道系统，并在不同任务和数据集上进行实验，表明该方法在有监督和无监督设置中均有效。
发现论文，激发创造
  • 无监督深度强化学习的释义重构

    本研究提出了一种基于深度强化学习的渐进式无监督改写方法，使用变分自动编码器生成种子改写，然后使用一种新的奖励函数来指导渐进调整种子改写，从而实现在不同域中高质量改写。在 4 个数据集上的结果表明，该方法在自动度量和用户研究方面优于监督学习和无监督学习的当前先进技术。

    Jul, 2020

  • 弱监督下的选择性学习用于释义生成

    本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

    Sep, 2021

  • 使用抽象意义表示进行无监督句法控制的释义生成

    本研究提出了一种基于 AMR 的修改短语生成模型 (AMRPG)，该模型通过对抽象含义表示进行编码，从而在语法控制和短语生成质量方面显着提高了非监督学习方法的性能，并可用于数据增强以改善 NLP 模型的鲁棒性。

    Nov, 2022

  • 基于无监督机器翻译的改写生成

    本文提出了一种将改写生成任务视为无监督机器翻译的新方法，通过将大规模无标签单语语料库拆分成多个簇并使用这些簇的对训练多个 UMT 模型，然后基于这些 UMT 模型生成的改写语句对，可以训练出一个统一的代理模型，用于生成改写句子，该方法避免了对双语句对的依赖，同时也可以让人类干预模型，使用不同的过滤标准生成更多元的改写语句。在现有的改写数据集上进行的实验表明了该方法的有效性。

    Sep, 2021

  • 通过自动爬取和对齐的句子对进行神经重述

    本文介绍了一种基于语言约束的相似性搜索方法，用于自动产生大规模对齐语料库，以解决基于神经网络的释义生成面临的数据缺乏问题。该方法在意大利语的情况下进行评估，并使用基于指针的深度神经网络架构实验。

    Feb, 2024

  • 基于潜变量 PCFG 的语义分析生成改写

    为了弥合自然语言问题和知识库之间的词汇句法差距，本文提出了一种基于概率上下文无关语法抽样生成语义解析问题的语法模型，实现了自然语言问题向知识库查询的转换，提高了语义解析性能。

    Jan, 2016

  • 双阶段语义解析的无监督双重释义

    该研究提出了一种两阶段的语义解析框架，第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句，第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式，该训练过程被分成了预训练和循环学习两个阶段，通过三项定制的自监督任务激活无监督的语义模型，实验结果表明该框架是有效的且与监督式训练相兼容。

    May, 2020

  • 预训练语言模型无监督的改写技术

    本文研究了基于转移学习的无监督方法生成高质量的同义改写，其中采用了任务自适应、自监督学习和名为 Dynamic Blocking 的新型解码算法。该方法在问答数据集和 ParaNMT 数据集上均取得了最新的性能，并且在不同语言改写中具有良好的迁移性能。

    Oct, 2020

  • 无监督的上下文重写技术，用于开放领域对话

    采用明确的语境重写方法，基于强化学习的上下文重写网络有助于候选检索，可解释的上下文建模以及在多轮会话中使用单轮框架。

    Oct, 2019

  • 在不使用已标注平行对的情况下生成句法控制的同义改写句

    本文提出了一种基于编码器 - 解码器的模型，名为 Syntactically controlled Paraphrase Generator (SynPG)，它可以从未注释的文本集合中学习将一句话的语义和语法分离的能力，从而生成语法各异的释义，而无需使用大量注释的释义对。自动评价和人工评价的实验结果表明，该模型在语法控制方面的表现优于无监督基线，同时生成的释义的质量也具有竞争力。同时，经过充分的训练，该模型的性能与有监督模型相媲美，甚至更好，使其生成的语法受控释义可以用于数据增强，以提高 NLP 模型的健壮性。

    Jan, 2021