Feb, 2021

InsNet: 一款高效、灵活、性能优越的基于插入策略的文本生成模型

PDF
TL;DRInsNet 是一个插入式文本生成器，采用插入式编码机制使其训练高效，另外提出了 InsNet-Dinic 算法以控制插入式操作的并行化，以应对不同的生成任务。实验表明，InsNet 在词汇约束文本生成和机器翻译方面表现出了优异的性能。
text generationparallelizationmachine translationlexically constrained textinceptionnet
发现论文，激发创造
  • 插入变压器：通过插入操作实现灵活序列生成

    本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

    Feb, 2019

  • INSET: 使用 Inter-SEntential Transformer 进行句子填充

    本文提出了一个基于 BERT 和 GPT-2 的框架，通过将缺失句子生成任务拆分成三个方面的处理来解决此问题 —— 语义理解，篇章规划和生成，并在实验证明了我们的模型在学习句子表示和生成缺失句子方面的有效性。

    Nov, 2019

  • EnsNet：将文本藏匿于野外

    本文提出了一种新的方法来移除自然图像上的文本，该方法使用 ensconce 网络（EnsNet），可以在单个图像上端到端地运行，无需任何先前知识，并使用多尺度回归损失，纹理损失和总变差损失等四个损失函数来增强功能。与以前的方法不同的是，EnsNet 可以在插入场景文本的图像补丁之前准确地分别在笔画级别上定位文本，然后将其替换为具有视觉上合理的背景。从合成图像和 ICDAR 2013 数据集的定性和定量灵敏度实验以及针对 SMBNet 数据集的定性实验结果表明，EnsNet 的每个组件对于实现良好性能都是必不可少的，并且在所有指标方面均明显优于先前最先进的方法。此外，该方法还可以在一般物体（如行人）的去除任务上表现良好。

    Dec, 2018

  • POINTER：基于插入式生成预训练的受限渐进式文本生成

    本文介绍了一种新颖的插入式方法 POINTER，用于在硬性限制文本生成中生成文本。在维基百科数据集上进行预训练和下游微调后，该方法在新闻和 Yelp 数据集上取得了最先进的性能。

    May, 2020

  • 基于递归插入编码的任务导向对话语义解析

    本文介绍了一种新的语义分析方法，即递归插入式编码器 (RINE)，它在任务导向对话的语义分析中通过预测非终端标签和线性树中的位置来增量构建语义分析树，最终达到了最先进的精确匹配准确性，适用于嵌套命名实体识别任务，并且比序列到序列模型在推理时间上更快。

    Sep, 2021

  • 跨领域数据库中基于中间表示的复杂文本转 SQL 研究

    利用 IRNet 的神经方法，从文本向 SQL 转换的复杂性和跨领域性的角度入手，成功解决了大量领域外单词造成的列预测挑战，并在 Spider 基准测试中取得了 46.7％精度，比之前表现最佳的方法 “进步了 19.5％”，在 Spider 排行榜上位居第一。

    May, 2019

  • 使用 XLNet 进行句子后编辑的 XL-Editor

    本文提出了一种名为 XL-Editor 的框架，通过可变长度插入概率使得 XLNet 模型可以修改给定的句子并进行后处理操作，无需按照自左向右的生成顺序；基于此，本文首先在文本插入和删除任务上展示了 XL-Editor 的改进效果，随后在非成对文本风格转换任务中实现了重大进展。

    Oct, 2019

  • InCoder：用于代码填充和合成的生成模型

    通过左到右生成和插值，InCoder 可以执行程序合成并编辑的任务。它是第一个可以直接执行零样本代码插值的生成模型，并在类型推断、注释生成和变量重命名等方面显示出优秀的性能。

    Apr, 2022

  • 通过标注和插入实现灵活的文本编辑

    Felix 是一种灵活的文本编辑方法，利用双向上下文解码和自我监督预训练的思想，将文本编辑任务分解为标记子任务和插入子任务，通过指针机制和掩模语言模型设计非自回归模型，以在低资源和快速推理的情况下建模灵活的输入输出转换，在句子融合、机器翻译、自动后期编辑、文本简化等自然语言生成任务中具有较好的性能。

    Mar, 2020

  • 文本填充

    本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

    Jan, 2019