该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。

Dec, 2021

该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

Apr, 2019

该论文介绍了一种以实体为中心的神经体系结构，用于生成数据到文本的任务，并通过在 RotoWire 基准和棒球领域的新数据集上进行的实验，表明该模型在自动和人类评估上优于竞争基线。

Jun, 2019

本研究提出了一种新的零样本文本到 SQL 任务中的方法，该方法不依赖于任何额外的手动注释，并在 WikiSQL 数据集和 ESQL 数据集上展开了广泛实验，相较于使用相同预训练模型的现有方法，我们的方法在两个数据集上都取得了显著的改进，特别是在零样本子集上，我们的方法进一步提高了改进。

Sep, 2021

通过使用预训练的语音 - 文本模型，本研究发现只需 1 小时标注的语音数据，即可与仅使用 10 倍数据的仅语音预训练模型在口语理解任务（情感分析和命名实体识别）上取得可比较的性能；同时发现底层的语音 - 文本模型作为任务自主层面，在共享空间中对齐语音和文本表示，而顶层则更加任务特定。

Oct, 2023

提出了新的框架：Prototype-to-Generate（P2G），旨在通过使用检索的原型来提高神经表生成文本模型在少样本场景下的性能，并利用 IR 系统和新型原型选择器共同选择原型以帮助模型弥合表格和文本之间的结构差距。在三个基准数据集上进行的实验结果表明，该文所提出的框架显著提高了各种评估指标的模型性能。

Aug, 2021

该研究探索了一个新的问题，即学习对不同长度和数量的图像文本具有强鲁棒性的自我监督视觉语言表示法，其介绍了一个包括超过 31M 篇文章，22M 张图片和 1M 个视频的大规模多模态数据集，并表明最先进的图像文本对齐方法不能很好地处理带有多张图像和更长篇幅的叙述，且还提出了一种直观的基线方法，在 GoodNews 数据集上零样本图像集检索表现比这些方法高出 10%。

Jul, 2022

本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力，从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络，其能够利用外部知识生成关系网络参数，并将这些参数应用于多个任务中，以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。

Apr, 2020

本篇论文提出一种新的零样本学习范式，其适用于任何格式，并适用于一系列语言任务，如文本分类、常识推理、指代消解和情感分析，并将零样本学习转化为多选任务，从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力，而且显著减少了参数的数量，同时具有高效的训练和部署特点。经实验结果表明，该方法在多个基准测试中表现卓越，且仅使用了 235M 的参数，远小于拥有十亿参数的现有先进模型。

Oct, 2022

将各种结构化数据（如表格、键值数据、知识图谱）统一为图形格式，并将不同的数据转化为文本生成任务视为图形到文本生成任务。为了有效利用输入图形的结构信息，我们提出了一种结构增强的预训练方法，通过设计一种结构增强的 Transformer 来进行 D2T 生成。经过大量实验证明了我们模型的有效性。

Jan, 2024