Jun, 2022

一个单一模型同时能够生成文本连续和填空的支持案例

HTML
PDF
TL;DR本研究探讨了使用单一模型同时执行文本填空和生成任务的可行性，发现利用 Fill in the blank 预训练后的模型能够完成这两个任务，并展示了如何使用 Fine-tuning 控制生成的文本的长度和单词选择。
发现论文，激发创造
  • 文本填充

    本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

    Jan, 2019

  • 空白语言模型

    我们提出了一种名为BLM的模型，通过动态创建和填充空白来生成序列。该模型对于各种文本编辑和改写任务都非常理想，并且在填充丢失的文本片段的任务上，BLM在准确性和流畅性方​​面均优于其他基线。

    Feb, 2020

  • 让语言模型填充空白

    本文提出一种名为Infilling by Language Modeling的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

    May, 2020

  • 混合搭配：能量语言模型控制的无需学习文本生成

    本文提出了一种名为Mix and Match LM的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用Metropolis-Hastings采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

    Mar, 2022

  • 高效训练语言模型以填充中间部分

    通过在数据集中间将文本移动到末尾后，自回归语言模型可以学习填补文本，进行数据增强不会影响原始的生成性能，因此我们建议未来应默认使用填补法来训练自回归语言模型，我们通过对关键超参数的剖析，制定了强有力的默认设置和最佳实践。

    Jul, 2022

  • ELMER: 一种高效且有效的文本生成的非自回归预训练语言模型

    研究了采用预训练语言模型 (PLMs) 方法的文本生成任务，提出了一种用于NAR文本生成的有效PLM（ELMER），它可以显式地建模NAR生成中的标记依赖。ELMER可根据预测置信度在不同层产生标记，从而实现优化并快速的生成，在三个文本生成任务中取得优异的表现，同时达到了10倍的推理加速。

    Oct, 2022

  • GENIUS: 使用极限与选择性Masking进行基于草图的语言模型预训练，用于文本生成和增强

    GENIUS是一种基于条件文本生成模型，利用素描作为输入，通过构建从素描目标到新样本的映射，生成高质量文本，并归纳提出了一个名为GeniusAug的数据增强方法，可以通过对原始数据集转换而来的目标感知的素描进行样本生成，进而用于自然语言处理各种任务，实验结果表明GeniusAug可以显著改善模型在数据分布范围内和外的性能

    Nov, 2022

  • 从部分标注的数据中学习：面向示例的语言学习填空练习创建

    本文介绍了一种新的神经网络结构，特别用于法语语法空填练习的生成任务，并提供了一份用于标准化评估的真实基准数据集，实现了平均F1得分82%

    Jun, 2023

  • 减少截断改善语言建模

    通过我们提出的Best-fit Packing方法，我们能够在保持训练效率的同时，完全消除了不必要的截断，并显著提高了模型的性能。

    Apr, 2024

  • 可控文本生成的最新进展：大型语言模型的调查

    本文解决了大型语言模型在实际应用中对文本生成质量和用户需求的多样化要求的不足。通过系统性回顾可控文本生成（CTG）技术的最新进展，本研究提出了对CTG核心概念的全面定义，并分类讨论了内容控制和属性控制两大任务。研究显示，CTG方法的有效性提升了文本生成的安全性、情感一致性以及风格丰富性，为未来研究提供了重要参考和实践建议。

    Aug, 2024