ACLMar, 2022

文辞规范，功夫到一半：多样有条件生成的构成取样

PDF
TL;DRComposition Sampling 提出了用于条件生成的简单而有效的方法，该方法基于最近提出的基于计划的神经生成模型，并通过先采样实体链的组合形式，避免了文本退化，最终在此基础上生成最优的文本，实验证明，该方法是目前生成多样有意义输出的最佳策略。
composition samplingconditional generationplan-based neural generation modelstext degenerationbeam search
发现论文，激发创造
  • 简洁有效的数据增强方法用于组合泛化

    数据增强方法在预训练 seq2seq 模型中对于复合泛化很有效，但仅在从正确分布中进行采样时。从均匀分布中进行采样的表现几乎与从测试分布中采样相当，并且明显优于从训练分布中采样的先前方法。我们进一步进行实验证明了这种情况发生的原因和这种数据增强方法带来的好处。

    Jan, 2024

  • 可控的图像生成与组合的并行标记预测

    通过组合离散生成模型的对数概率输出，我们提出了一种可控条件图像生成的公式，该方法在 FFHQ、Positional CLEVR 和 Relational CLEVR 三个不同场景中实现了最先进的生成准确性，并达到了竞争性的 Fréchet Inception Distance (FID) 得分，平均生成准确性为 80.71％，平均 FID 为 24.23，与其他方法相比具有 2.3 倍至 12 倍的速度优势，并提供了可解释的控制性维度以及对文本 - 图像生成的精细控制能力。

    May, 2024

  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 序列级混合样本数据增强

    该研究提出了一种简单的数据增强方法 SeqMix，用于鼓励神经模型针对序列问题的组合行为，该方法可以使神经网络捕获自然语言中的组合特征，旨在提高机器翻译和语义分析等任务的性能。

    Nov, 2020

  • 基于掩码生成模型的文本条件采样框架用于文本生成图像

    本文提出了一种学习可采样模型的 Text-Conditioned Token Selection（TCTS）方案，通过文本信息的本地化监督来选择最优选项，这样可以提高生成图像的质量和与给定文本的语义对齐度，并引入一种统一的采样策略 Frequency Adaptive Sampling（FAS），以进一步提高图像质量和文本对齐度。我们在各种生成任务中验证了 TCTS 与 FAS 的功效，并展示它在图像 - 文本对齐和图像质量方面显著优于基线，文本条件采样框架可以将原始推理时间缩短 50% 以上，这是继承基线模型的一个重大优势。

    Apr, 2023

  • 足够好的组合数据增强

    本文提出了一种简单的数据增强协议，旨在为条件和无条件序列模型提供组合归纳偏置。经过测试，该协议可以应用于神经序列到序列模型和 n-gram 语言模型，使得错误率和困惑度均有所降低。

    Apr, 2019

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 基于示例自适应解码的文本生成

    我们提出了一种新颖的有条件文本生成模型，通过编码 - 解码范式，在抽象文本摘要和数据到文本生成方面取得了强大的性能并超越了可比较的基线模型。

    Apr, 2019

  • 一种具有视觉文本组合行为的深度网络

    我们提出了一种深度网络，能够实现文本分类的高准确率，并表现出组合行为，即网络的低层将层特定的注意力权重分配给单个单词，而高层组成有意义的短语和从句，其长度随着网络的加深而增加，直到完全组合成句子。

    Jul, 2017

  • 使用格点进行大规模文本生成的解码

    本研究提出了一种搜索算法，采用重构解码作为最佳优先搜索，并重新考虑了假设重组的想法，通过在搜索期间识别并合并相似的文本生成候选项，构建了许多多样化的文本生成选项，并在文本摘要和机器翻译上表现出很好的效果。

    Dec, 2021