COLINGSep, 2022

神经重述生成中的连续细化分解

PDF
TL;DR本文提出了一种连续分解的细粒度建模方法，名为 C-DNPG，并在句子编码过程中引入了 GA-Attention 机制，用于提高神经释义生成的效果。该方法在 Quora 问题和 Twitter 链接两个基准测试中都取得了显著的优势和最佳效果，并且在 qualitive 分析中表现良好。
transformershierarchical informationgranularityneural paraphrase generationga-attention
发现论文，激发创造
  • 可分解的神经语义相似语句生成

    介绍了一个具有可分解机制的基于 Transformer 模型的 DNPG 模型，该模型可以学习和生成不同粒度级别的句子的释义。基于该模型，还开发了一种用于自适应释义生成的无监督领域适应方法，实验结果表明，该模型在域内表现竞争激烈，并且在适应到新领域时表现优异。

    Jun, 2019

  • 面向多跳问题回答的粗粒度分解与细粒度交互

    本文提出了一种新的多跳问题回答模型架构，通过应用 CGDe 和 FGIn 两种策略，在 SQuAD 和 HotpotQA 数据集上表现出超越 state-of-the-art 基线的性能。

    Jan, 2021

  • 基于句子重写和排序的文档级释义生成

    本文提出了一种基于 CoRPG（Coherence Relationship guided Paraphrase Generation）的方法，利用图形 GRU 编码一致性关系图并获取每个句子的一致性感知表示，用于重新排列多个（可能修改）输入句子，以生成更具多样性和语义保持的文档改写。

    Sep, 2021

  • 图像字幕和视觉问答自动解析网络

    提出了一种自动解析网络（APN），将概率图像模型（PGM）参数化为自注意层上的注意操作，以将稀疏假设合并到输入序列的分段中，从而提高基于 Transformer 的视觉语言系统的效率。

    Aug, 2021

  • 基于图的推理解码提升了问题回答的组合泛化能力

    提出了一种名为 Grounded Graph Decoding 的方法，通过使用注意力机制将结构化预测接地，从而提高语言表示的组成泛化，该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力，显著提高了复杂输入的一般性。

    Nov, 2021

  • 神经机器翻译的多粒度自注意力

    本文介绍了一种结合多头自注意力和短语建模的新型神经网络 Mg-Sa，利用 n-gram 或者句法格式训练多个注意头以关注短语，并通过短语间的交互增强结构建模弱点，实验结果表明该方法可以提高 NMT 的性能。

    Sep, 2019

  • 通过语言模式的分层解码实现自然语言生成

    介绍了一种基于语言模式的分层解码自然语言生成模型，与传统的基于 RNN 和 seq2seq 的编码器 - 解码器模型相比，该模型表现更好且模型规模更小。

    Aug, 2018

  • 基于图注意力网络的文档建模用于多粒度机器阅读理解

    本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。

    May, 2020

  • 对话的多粒度表示

    本文提出了一种新的训练程序，显式地在多个粒度级别上学习语言的多个表征，通过修改负候选响应的采样机制来控制所学习的潜在表征的粒度，观察到在使用 MultiWOZ 数据集和 Ubuntu 对话语料库进行下一个话语检索任务时出现了显著的性能提高，并且分析表明正在学习多个粒度级别的表征，并且多粒度级别的训练有助于更好地在下游任务中进行转移。

    Aug, 2019

  • 基于层级覆盖注意力的神经关键词生成：选择、提取和生成

    本研究提出了一种基于深度神经网络的自动关键词提取模型 SEG-Net，其使用包含两个部分的架构进行文本抽取和生成。实验表明该模型在科学和网络文档中的自动关键词提取方面性能卓越。

    Aug, 2020