本文介绍了一种控制生成文本的框架 InstructCTG,通过自然语言描述和约束条件的演示,将各种内在约束条件融入预训练语言模型中,以达到对生成文本的控制和优化。
Apr, 2023
利用小型语言模型进行 Prompt 调整,使用提示嵌入对生成文本进行控制,验证其在情感分析、正式度和有害语言领域的有效性。
Apr, 2024
本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性,包括层级生成和约束解码,并应用于故事、诗歌、比喻语言的创意生成,以及减少生成模型的社会偏见。
Sep, 2022
通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法,自动生成任务指导、输入和输出,用于过滤噪音,并通过自动和手工评估实验来证明数据集的质量。
Sep, 2023
本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法,并讨论了当前领域面临的挑战和未来研究方向。
Jan, 2022
通过对比训练的表示捕捉风格特征,从而引导语言模型以目标风格生成文本,实现满足作者特定风格的生成,而不需要微调底层语言模型。
Dec, 2023
本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务,并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法,旨在利用语言模型的内部知识来引导生成,它可以成功地推广到未看到的指令,并在生成符合限制的文本方面优于竞争基线。
Dec, 2022
通过上下文指导生成回复的语言模型在多轮对话生成任务中取得了令人瞩目的成果,通过对指令进行微调并将其与输入对齐,可以显著提高生成性能。
Nov, 2023
探索不依赖于封闭源模型生成高质量指令数据的替代方法,并通过整合有效的变体和两种新策略进一步提高其质量,我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。
Aug, 2023
该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响,该算法不同于传统的离散提示和连续提示,可以适应输入变化较大的任务,如开放领域对话生成,并在经典数据集上实验证明其比提示基线更好,而参数却只需用到总计量的 5-6%。
Jul, 2023