Dec, 2023

Instruct-SCTG：通过指导实现序列控制文本生成

PDF
TL;DR本文介绍了 Instruct-SCTG 框架，利用调谐指令的语言模型在精细调整和零 - shot 设置中生成结构连贯的文章，通过自然语言指令对生成的文本进行段落层次的控制，并引入了一种模糊度量衡来衡量篇章发散程度。实验结果验证了该框架在新闻和食谱等领域中建立篇章结构的的卓越性能，即通过自动化和人工评估的双重验证。
instruction-tuned language modelscoherent text generationdiscourse structureautomatic metrictext generation evaluation
发现论文，激发创造
  • 带自然语言指令的可控文本生成

    本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

    Apr, 2023

  • 自我指导：用自动生成的指令对齐语言模型

    使用 Self-Instruct 框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于 finetuning，大大提高了模型的通用性。

    Dec, 2022

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • 序列控制文本生成

    本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

    Jan, 2023

  • 神经文本生成的显式句法指导

    我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

    Jun, 2023

  • 对话回复生成的上下文依赖指令调整

    通过上下文指导生成回复的语言模型在多轮对话生成任务中取得了令人瞩目的成果，通过对指令进行微调并将其与输入对齐，可以显著提高生成性能。

    Nov, 2023

  • GRASS: 语音语义理解统一生成模型

    该论文通过引入统一的端到端（E2E）框架，对语音语义理解任务进行了指令微调技术的探索，该框架在语音数据上生成与任务相关提示条件下的语义标签。实验证明，我们提出的模型在微调下游任务后显著优于最先进的模型，并且在零样本和少样本情况下取得了有竞争力的性能。为了促进未来对语音到语义任务的指令微调工作，我们发布了我们的指令数据集和代码。

    Sep, 2023

  • 生成图解指引

    生成用户定制的视觉说明书的新任务，通过结合大型语言模型和文本到图像生成扩散模型实现了一种简单方法（StackedDiffusion），在有效性、一致性和效果的度量上远远超过基线方法和最先进的多模态语言模型。

    Dec, 2023

  • InstructScene: 指令驱动的具有语义图先验的三维室内场景合成

    通过集成语义图形先验和布局解码器的创新生成框架 InstructScene，改进了三维场景合成的可控性和保真度，并展示了零样本方式在各种下游任务中的多功能性。

    Feb, 2024

  • INSTRUCTSCORE：自动反馈的可解释文本生成评估方法

    该研究介绍了 INSTRUCTSCORE，一种可解释的用于评估文本生成的评估度量标准，通过利用显式人类指令和 GPT4 的隐式知识来创建评估度量标准。研究结果表明，INSTRUCTSCORE 可以在不需要人类数据之间达到类似于 COMET22 等最先进度量标准的性能水平。

    May, 2023