Nov, 2019

INSET: 使用 Inter-SEntential Transformer 进行句子填充

PDF
TL;DR本文提出了一个基于 BERT 和 GPT-2 的框架，通过将缺失句子生成任务拆分成三个方面的处理来解决此问题 —— 语义理解，篇章规划和生成，并在实验证明了我们的模型在学习句子表示和生成缺失句子方面的有效性。
missing sentence generationnatural language processingbertgpt-2sentence representation
发现论文，激发创造
  • 文本填充

    本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

    Jan, 2019

  • 让语言模型填充空白

    本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

    May, 2020

  • TIGS: 基于梯度搜索的文本填充推断算法

    本文提出了一种基于梯度搜索的迭代推断算法，以解决文本填充任务中现有贪心近似推理算法无法应对上下文条件缺失符号生成的挑战，该算法可广泛应用于任何神经序列生成模型。实验结果表明，该算法在不同遮罩比例和遮罩策略的三个文本填充任务中表现出有效和高效的特性，并且始终优于所有基线模型。

    May, 2019

  • 基于段落的 Transformer 预训练模型用于多句推理

    本文介绍了一种新的预训练目标，用于在多个输入句子之间建模段落级别的语义，并证明了该预训练技术在多候选推理任务的联合建模和交叉编码器场景下优于传统技术。

    May, 2022

  • 增强生成语言模型中的句子嵌入的简单技术

    本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

    Apr, 2024

  • 生成自然语言推断链

    该论文提出了一项新的任务，即通过一个源句子生成一个蕴含的句子，使用带有关注力的 LSTM 模型对斯坦福自然语言推理语料库的蕴含对进行训练，在手动注释的测试集上，82% 的生成句子是正确的，还使用递归方法生成自然语言推理链，从而自动构造了一个蕴含图。

    Jun, 2016

  • 掩码与填空：应用掩码语言模型进行情感转换

    该论文提出了一种基于两步 Mask 和 Infill 方法的情感转移模型，用于修改句子情感属性，实验表明对于非平行文本，该模型具有良好的性能。

    Aug, 2019

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • GRIT: 文档级事件实体抽取的生成角色填充变换器

    使用生成式基于 Transformer 的编码器 - 解码器框架，以考虑文档级别上下文信息的方法来重新思考文档级别下的角色 - 实体抽取问题，并在 MUC-4 数据集上展示其优越性。

    Aug, 2020

  • 高效训练语言模型以填充中间部分

    通过在数据集中间将文本移动到末尾后，自回归语言模型可以学习填补文本，进行数据增强不会影响原始的生成性能，因此我们建议未来应默认使用填补法来训练自回归语言模型，我们通过对关键超参数的剖析，制定了强有力的默认设置和最佳实践。

    Jul, 2022