ACLNov, 2018

使用上下文感知主题注意力增强神经响应生成

PDF
TL;DR本文提出了一种基于多层次主题循环编码者解码器的响应生成系统，并利用 Reddit 评论数据集进行模型训练和评估，结果表明该模型能够相比于强基线模型产生更多样、更为相关的响应，这一结果得到了两个自动化评估度量以及人工的评价的支持。
seq2seq modelstopical hierarchical recurrent encoder decoderresponse generationcontextual relevanceautomated metrics
发现论文，激发创造
  • 面向任务的分层 Transformer 对话系统

    本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

    Oct, 2020

  • 分层循环注意力网络用于生成回复

    研究聊天机器人中的多轮对话应答生成，提出一种基于分层循环注意力网络的方法，该方法使用单词级别和语句级别的注意机制来捕捉对话上下文中重要部分，能够明显优于现有的多轮应答生成模型。

    Jan, 2017

  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 阅读、标记和总结：基于层次神经语义编码器的方法

    本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

    Oct, 2019

  • 基于分层注意力机制的中文歌词生成模型

    本论文旨在全面研究上下文感知的中文歌词生成。提出了基于分层注意力的 Seq2Seq 模型，该模型编码了单词级和句子级上下文信息，促进了生成的主题相关性和一致性，利用大型中文歌词语料库进行模型训练，结果表明，我们的模型能够通过一致性约束生成完整的中文歌词。

    Jun, 2019

  • 分层注意力编码器解码器

    本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

    Jun, 2023

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021

  • 用于生成上下文感知查询建议的层次递归编码器 - 解码器

    本文提出了一种基于概率模型的搜索建议方法，使用新颖的分层递归编解码器架构，能够考虑任意长度的查询序列，实现上下文感知，解决数据稀疏问题，在下一个查询预测任务中优于现有上下文感知方法，并且可以用于许多其他应用。

    Jul, 2015

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020