本文提出了DART数据集，其中包含超过82k条开放领域结构化数据到文本生成实例。我们通过从表中提取语义三元组的方式，以及利用标头之间的语义依赖关系和表标题来编码表的结构，提出了一种数据到文本生成的注释程序。我们还将从开放领域语义解析和对话行为意义表示任务中提取的异构源有效地合并，以及提出了数据集构建框架，利用树本体注释、问答对到陈述句的转换和谓词统一等技术进行最少的后期编辑。我们在DART上进行了系统评估，并展示了WebNLG 2017的最新成果，证明DART（1）对现有数据到文本数据集提出了新的挑战，（2）促进了跨领域的泛化。

Jul, 2020

本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域QA和LAMA知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

Oct, 2020

本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的WikiFluent数据集，在WebNLG和E2E数据集上进行实验证明，使用单个项目描述生成D2T是可行的，且可以从RDF三元组中完成零-shot D2T生成。

Mar, 2022

提出了一种通过对文本输入进行多阶段知识图谱生成的系统，并通过使用预训练的语言模型生成图节点，然后使用简单的边构造头部来使得从文本中提取知识图谱效率更高。该模型在WebNLG 2020挑战数据集，New York Times（NYT）和大规模TekGen数据集上表现不错，超过现有基线。

Nov, 2022

本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

Jul, 2023

通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误L2范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的30%进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

Sep, 2023

通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

Feb, 2024

我们提出了一种新颖有效的ABEX生成数据增强方法，用于低资源自然语言理解（NLU）任务。 ABEX基于ABstract-and-EXpand，一种生成输入文档不同形式的新颖范例，我们首先将文档转换为简洁、抽象的描述，然后根据扩展所得到的抽象生成新的文档。我们证明了ABEX在涵盖12个数据集和4个低资源情况下的4个NLU任务上的有效性，在质量上超过了所有基线，并获得了从上一文献中以各种不同的上下文和长度多样性而言的最佳性能。

Jun, 2024

本研究针对自然语言生成中的信息遗漏问题，提出了两种基于编码器输出的探测方法，以分析 BART 和 T5 模型在 RDF 到文本生成中的缺陷。研究发现，编码器输出中对遗漏和扭曲实体的探测表明其发出较弱的信号，从而导致信息损失，这为识别 NLG 模型输出中的错误提供了新的方法。

Sep, 2024

本研究解决了小型语言模型在自然语言推理任务中的性能差距问题，提出了一种通过ChatGPT进行数据集增强的新方法。研究发现，结合合成推理生成的策略能够显著提升模型的自然语言理解能力，使分类准确率提高了1.3%和2.3%。

Sep, 2024