基于联合上下文驱动关注机制的神经网络相关工作总结
该研究提出了一个新颖的抽象式单文档文本摘要框架,融合了结构、语义和基于神经网络的方法,通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进,优于现有的深度学习技术。
Apr, 2024
本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法,通过训练大规模数据,该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。
Sep, 2015
论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法,采用层级文档编码器和基于注意力机制的提取器的通用框架,能够训练不同的摘要模型(提取句子或单词),在大规模语料库上进行实验结果表明,该方法在不需要语言注解的情况下取得了与现有技术相当的效果。
Mar, 2016
本文探讨了在提取式摘要中基于全文进行 contextualized rewriting,将其形式化为 seq2seq 问题,引入 group tag 作为解决方案来建立关联,通过基于内容的寻址方法识别提取式摘要,结果表明我们的方法明显优于非上下文的重写系统,无需采用强化学习,在多个提取式摘要生成器上显示出显着提高的 ROUGE 分数。
Jan, 2021
本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器,通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文,从而超过了 SOTA 方法,并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。
Oct, 2020
本文提出了一种基于文档上下文的 Seq2Seq 模型,使用 RNN 进行描述总结。文中探讨了使用半监督技术和文档上下文方法进行大型文档总结的现有技术,并证明了该方法的高效性。
Jul, 2018
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要,并在两个不同的语料库上展示其实现最先进的性能。同时,该研究还提出了几种解决文摘中的关键问题的新模型,比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外,研究还建立了一个多句子的文摘数据集,以便后续的新研究能建立性能基准。
Feb, 2016
本文提出了一种基于注意力机制的双向 LSTM 模型,使用卷积神经网络学习句子嵌入,利用上下文信息预测文本分段,相比现有的竞争基准方法,在三个基准数据集上的 WinDiff 分数提高了约 7%。
Aug, 2018
本文提出了一种上下文感知的神经排序模型,通过引入两级分层循环神经网络对查询、搜索任务进行搜索上下文表示的学习,并结合文档排序和查询建议两个伴随的检索任务来提高检索性能,并在循环状态的两个级别上引入注意力机制来识别搜索上下文和用户正在进行的搜索活动之间的可变依赖结构。通过丰富的实验比较以及深入的消融分析,证实我们所提出的方法对于建模搜索任务中隐藏的搜索上下文具有价值。
Jun, 2019
通过将抽取和生成的方法相结合,利用生成模型提高了抽取式摘要的简洁性和可读性。本研究提出了上下文感知的重写方法,通过 group-tag alignments 将传统的抽取方式转化为生成方式,取得了显著的 ROUGE 分数提升。
Jul, 2022