UniGen：使用大型语言模型进行文本数据集生成的统一框架

Jun, 2024

UniGen：使用大型语言模型进行文本数据集生成的统一框架

UniGen: A Unified Framework for Textual Dataset Generation Using Large Language Models

Siyuan Wu, Yue Huang, Chujie Gao, Dongping Chen, Qihui Zhang...

TL;DRUniGen 是一个综合的 LLM 框架，利用创新机制解决现有生成框架中的泛化、可控性、多样性和准确性等挑战，通过引入属性导向的生成模块和检查功能，以及基于代码的数学评估和检索增强生成技术，产生多样、准确和高度可控的数据，并支持用户指定的约束条件，满足特定需求。相比其他生成方法，UniGen 生成的数据质量更高，适用于动态演变的基准测试和数据增强，提升了 LLM 在代理能力和推理技能等领域的能力。

Abstract

large language models (LLMs) such as GPT-4 and Llama3 have significantly impacted various fields by enabling high-quality synthetic data generation and reducing dependence on expensive human-generated datasets. D

large language models unigen data generation diversity accuracy

发现论文，激发创造

UniGen: 一个面向检索和问答的统一生成框架，利用大型语言模型

UniGen 是一种集成了生成式检索和问答功能的统一生成模型，通过使用大型语言模型，UniGen 采用一个共享编码器和两个不同的解码器，引入连接器来弥补查询输入和生成目标、文档标识符和答案之间的差距，并提出了一种迭代增强策略来通过生成的答案和检索的文档迭代地改进两个任务，在 MS MARCO 和 NQ 数据集上的广泛实验证明了 UniGen 在检索和问答任务中具有优越的性能。

Dec, 2023

生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

Dec, 2023

文本生成的统一复杂度

本文介绍了 Uniform Complexity for Text Generation (UCTG)，它是一项挑战，旨在使现有模型生成与输入语句或提示相对应的均匀复杂度的文本。在受控叙述生成任务中，我们发现 GPT-2 模型甚至人类在保持输入提示的语言复杂度方面遇到了困难。最终，我们提出了可能的方法和方法，可纳入指导语言模型处理此重要挑战的一般框架中。

Apr, 2022

TarGEN：大型语言模型的有针对性数据生成

通过使用 TarGEN 多步提示策略来生成高质量的合成数据集，结合自校正方法增强语言模型生成过程中的准确性，从而创建复杂和多样的基准测试数据集。

Oct, 2023

UniDM：面向大语言模型的数据操作统一框架

研究通过利用大语言模型（LLMs）和自动化上下文检索，设计了一个统一框架 UniDM，用于解决数据操作任务，并在各种基准测试中展现出极高的通用性和先进性能。

May, 2024

UniGen：通用领域泛化情感分类的零样本数据集生成

本研究提出了一种新颖的方法，通过生成适用于任意领域的数据集来实现小型任务模型的领域通用性，从而提高数据集生成模式的实际应用性。实验证明，该方法在使用比预训练语言模型小数个数量级的参数集的情况下，实现了在各种领域的泛化能力。

May, 2024

LLM4GEN：利用语义表示的 LLM 用于文本到图像生成

LLM4GEN 通过结合 LLMs 特征设计的 Cross-Adapter 模块，有效提高了复杂和密集提示的语义理解能力，为 text-to-image 生成任务带来了显著改进，并在 sample 质量、图像文本对齐和人工评估方面超越了现有的最先进模型。

Jun, 2024

UniDU: 面向统一的生成式对话理解框架

本文提出了一种统一的生成式对话理解框架 UniDU，将所有 DU 任务都重新定义成统一的基于提示的生成模型。并引入了一种新颖的模型非特定多任务训练策略 (MATS) 来在训练期间动态地适应各种任务的权重以实现最佳的知识共享。实验表明，UniDU 框架在所有任务上均比特定任务的良好设计方法表现更优，并揭示了这些任务的知识共享结构。最后，UniDU 在未知对话领域获得了良好的性能，显示出广泛应用的巨大潜力。

Apr, 2022

自然语言理解与生成的统一语言模型预训练

本文介绍了一种新的统一预训练语言模型 (UniLM)，该模型可用于自然语言理解和生成任务，使用了三种类型的语言建模任务进行预训练，采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文，其在自然语言生成方面的表现优于 BERT，最终达到了五种自然语言生成数据集的最新最优成果。

May, 2019

UniGraph：从自然语言中学习跨领域图基础模型

我们提出了 UniGraph 框架，通过使用文本属性图（TAGs）来训练图基础模型，实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型（LMs）和图神经网络（GNNs）构建的骨干网络以及基于掩码图建模（MGM）的自我监督训练目标，并引入大型语言模型（LLMs）进行图指令调优，进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性，甚至超越或匹配了在目标数据集上进行受监督训练的 GNNs 的性能。

Feb, 2024