Mar, 2023

ZeroNLG: 零射击多模态和多语言自然语言生成的领域对齐和自编码

PDF
TL;DR该论文提出了一个直觉有效的零样本学习框架 ZeroNLG，它可以在英语、中文、德语和法语之间处理多个自然语言生成任务，包括图像到文本、视频到文本和文本到文本。该框架不需要任何标记的下游对来训练，并通过 bridging different domains and unsupervised multilingual auto-encoder 方法实现了目标句子在不同语言之间的生成。经过大量实验的验证，该框架生成的文本质量高，表现出色，优于现有的零样本方法。
发现论文，激发创造
  • AUGNLG: 自训练数据增强的小样本自然语言生成

    本篇论文提出了一种名为 AUGNLG 的新型数据增强方法，将自我训练的神经内存模型与少量训练的神经语言理解模型结合起来，自动从开放领域的文本中创建 MR-to-Text 数据，以提高自然语言生成的效率并在 FewShotWOZ 数据上表现优异。

    Jun, 2021

  • 零样本自然语言视频定位

    本文提出了一种新颖的伪监督方法，用于零样本学习自然语言视频定位模型，并在 Charades-STA 和 ActivityNet-Captions 数据集上实验验证该方法相较于其他方法性能有明显提升。

    Aug, 2021

  • 基于预训练的跨语言自然语言生成

    本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

    Sep, 2019

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • 针对任务导向对话的少样本自然语言生成

    该论文提出 FewShotWoz 模型作为 Natural Language Generation 模块，使用 SC-GPT 模型进行预训练来实现带有有限数量 labeled data 的多领域适配，通过实验证明其效果显著优于已有方法。

    Feb, 2020

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 用去噪自编码器进行无监督自然语言生成

    使用去噪自编码器对有噪声的结构化数据进行训练，能够在自然语言生成的任务上取得比监督学习更高的性能表现。

    Apr, 2018

  • 通过联合学习自然语言生成和自然语言理解模型的半监督神经文本生成

    本研究提出了一种半监督深度学习算法，能够在缺乏注释数据的情况下，利用非注释数据进行学习，采用序列到序列模型的 NLG 和 NLU 模型进行联合学习来实现。实验结果表明，在有限的注释数据下，该方法可以不使用任何预处理或重新评分技巧就能够取得非常有竞争力的效果，为不断发展新的 E2E NLG 应用程序开拓了道路。

    Sep, 2019

  • 多单帽编码：用于零 - shot 多语言视觉字幕的自动编码提示

    多场景和多语言的视觉描述生成中，我们提出了一种简单而有效的零样本方法 MultiCapCLIP，它可以在不需要标注视觉 - 描述对的情况下，为不同的场景和语言生成视觉描述，并且在四个基准测试和四种语言上得到了相对于最先进的零样本和弱监督方法分别为 4.8% 和 21.5% 的绝对改进。

    Aug, 2023

  • Meta-X_{NLG}: 一种基于语言聚类的元学习方法，用于零样本跨语言传输和生成

    本文提出了一种基于元学习和语言聚类的元学习框架（Meta-X$_{NLG}$），从不同的语言中学习可共享的结构，以实现对未知语言的统一跨语种转移。在两个自动生成任务（提取型文本摘要和问题生成）以及 30 种类型各异的语言和 5 个广泛使用的数据集上，该框架展示了相对于强基线的一致的改进效果，并且该模型的细致设计使得该端到端自动化生成设置不太容易受到意外翻译问题的影响，这在零 - shot 跨语种自然语言生成任务中是一个突出的问题。

    Mar, 2022