- ACLFreeCtrl: 使用前馈层构建控制中心进行无学习的可控文本生成
提出了一个名为 FreeCtrl 的无需学习的方法,该方法通过动态调整选择的前馈神经网络向量的权重来控制大型语言模型的输出,实现对生成内容的属性关键词的输出概率的控制,从而解决了学习成本和模型性能之间的困境。
- COLING复现一组可控文本生成技术的度量评估
重新运行基于指标的评估比人为评估更直接且结果更接近,但在重新运行时不一定会产生与原始结果相同的结果,并且可能揭示原始工作的错误。
- 指令调优时代的可控文本生成
基于 Instruction-tuned 模型的可控文本生成,使用基于提示的方法超过了其他可控文本生成方法,在大多数数据集和任务上匹配人类表现,突出了对更多约束和具有挑战性的风格任务的研究的需求。
- ACL基于令牌级反馈的强化学习可控文本生成
提出了一种名为 TOLE 的新颖强化学习算法,用于控制大型语言模型的生成,并在单属性和多属性控制任务上取得了优异的性能。
- 标准化:根据专家定义的标准对语言模型进行调整以实现内容生成
通过使用领域专家和语言标准,我们引入一种基于检索式学习的框架,用于指导大型语言模型生成符合专家定义标准的内容,并证明了利用标准中提取的知识构件并将其整合到生成过程中,可以有效地指导模型产生更好的标准化内容。
- 个性化文本生成与细粒度语言控制
对于控制细粒度属性的文本生成研究,本文通过引入新的基准测试,系统调查了不同大型语言模型在生成个性化文本方面的性能,并从影响性能的因素中获得了一些见解。
- EMNLP利用即插即用控制器驱动
提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法,通过动态调整生成文本的分布,修改提示信息,限制语言模型的输出空间并影响所需属性,在 PLM 和 PPC 之间实现协作,通过 RLDAF 方法在推理过程中改进文本生成的顺畅性, - 具有对比解码的参数高效排毒
Detoxification Generator (DETOXIGEN) is an algorithm that controls the attributes of generated text, particularly avoidi - EMNLPGTA:门控毒性避免与语言模型性能保护
该研究探讨了以前方法的局限性,并介绍了一种新的解决方案:一种名为简单的门控毒性规避技术(GTA)可以应用于任何可控文本生成方法,通过与最先进的可控文本生成方法在各个数据集上进行比较,研究发现,门控毒性规避技术有效地实现了与原始可控文本生成方 - 一种用于可控能量驱动文本生成的区块 Metropolis-Hastings 采样器
能量基语言建模与 Metropolis-Hastings 抽样器相结合可实现更高效和准确的文本生成,通过迭代提示大型语言模型,允许在每个步骤中对整个序列进行重写,从而确定生成长度和提高下游性能。
- 空气解码:编码时间可控文本生成的属性分布重建
我们提出了一种名为 Air-Decoding 的新型轻量级解码框架,该框架通过重构属性分布来平衡属性单词和非属性单词之间的权重,从而生成更流畅的文本,有效避免了属性崩塌问题,实验结果表明我们的方法实现了最先进的控制性能。
- 具有剩余记忆变换器的可控文本生成
本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件,名为 Residual Memory Transformer(RMT),通过与 Causal Language Models(CLMs)合作,采用残余学习范式,实现了更灵活、更通用 - ACL通过正则表达式指令实现统一可控文本生成
我们的研究引入了正则表达式指令(REI),通过基于指令的机制来充分利用正则表达式的优势以统一地建模各种约束,支持多种常见的细粒度可控生成约束,并对它们的复杂组合进行建模。实验证明,我们的简单方法在各种约束下都能取得很高的成功率和适应性,并且 - 科学可控文本生成方法的进展
本文提供了一个新的方案,用于有控制的文本生成。通过描述各种调节策略,作者阐述了七个关键组成部分的控制生成方法。该文的目的是为基于这些组成部分的新体系结构提供理论和定量分析,并将来通过实证研究对它们的优劣进行比较。
- ACLClick: 带有序列似然对比学习的可控文本生成
本文提出了一种名为 “Click” 的可控文本生成方法,不需要修改模型架构,利用序列似然的对比损失和新颖的似然排名策略,能够在有毒语言、情感倾向和文本重复等方面相比其他控制型生成模型有更好的性能。
- 大型语言模型生成的教育问题有多有用?
通过人工评估,控制型文本生成与问题分类法相结合生成的高质量、多样化问题,被认为对教师和学生的教学内容质量有较大的提升作用,具有在教学环境中广泛使用的潜力。
- 通过概率密度估计在潜空间中实现可控文本生成
文章介绍了一种新的控制框架来实现可控文本生成,并利用概率密度估计在隐藏空间中进行控制,该方法使用可逆变换函数,即 Normalizing Flow,将潜在空间中的复杂分布映射到先验空间中的简单高斯分布,实现了前向控制和反馈控制效果,达到了目 - EMNLP面向属性纠缠可控文本生成:一项祝福生成的试点研究
针对现有的可控文本生成模型在多属性交叉影响上存在的瑕疵,本文提出一种全新的祝福语生成场景,即细致考虑多个属性(如对象和场合)之间的纠缠,以提升生成结果的多样性。同时,为了促进研究,提供了包含 293000 条英文句子的大规模纠缠祝福文本数据 - PCAE: 可控文本生成的插件条件自编码器框架
我们提出了一个灵活的半监督文本生成模型 Plug-in Conditional Auto-Encoder(PCAE),它可以通过全局潜在空间到指定的局部潜在空间,以高度可操纵、句法多样和时间高效的方式生成文本,使用最小标记样本。
- FAST: 基于反馈感知自训练的文本生成控制性改进
这篇论文针对控制文本生成算法中可能存在的潜在问题,利用因果推断技术发现了训练数据中的关联错误,提出通过倾向得分采样和反事实版本生成机制消除这些关联,实验结果表明该方法在生成性能和语言品质上都得到了显著提升。