Aug, 2017

基于注意力编码器 - 解码器网络的视频摘要

PDF
TL;DR本研究提出了一种名为 AVS 的新颖的基于注意力机制的编码器 - 解码器网络框架，该网络框架使用双向 LSTM 和注意力机制对原始视频帧进行编码和关键帧序列进行解码，实现对有监督视频摘要的问题的解决。经测试发现，该方法在 SumMe 和 TVSum 数据集上的表现明显优于现有方法，在两个数据集上分别从 0.8％到 3％都有了显著的提高。
supervised video summarizationsequence-to-sequence learningattention mechanismbidirectional long short-term memoryvideo summarization benchmark datasets
发现论文，激发创造
  • 基于注意力机制的视频摘要

    提出了一种新的监督学习方法，基于关键帧技术和自注意力机制来实现视频摘要。该方法在两个公认的基准数据集 TvSum 和 SumMe 上取得了新的最佳结果。

    Dec, 2018

  • 基于自注意力的生成式对抗网络用于无监督视频摘要

    本文通过引入自注意力机制和 Transformer 在视频总结中建模时间关系，以无监督的方法通过对抗性学习生成代表性摘要，并提出 SUM-GAN-AED 模型，评估结果表明，使用自我注意力机制作为帧选择机制在 SumMe 上优于现有技术，并在 TVSum 和 COGNIMUSE 上具有接近现有技术的性能。

    Jul, 2023

  • 使用全卷积序列网络进行视频摘要

    这篇论文探讨了视频摘要的问题，并将其作为一个序列标注问题。优化地选择输入视频的一部分帧以创建一个摘要视频，以最优地捕捉输入视频的重要信息，这提供了一个有用的工具来协助视频检索、浏览等。作者提出使用全卷积序列模型解决视频摘要问题，并通过对普通语义分割网络的改进使之适用于摘要视频的任务。实验结果表明提出的模型具有有效性。

    May, 2018

  • 长短期记忆视频摘要

    本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

    May, 2016

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 基于注意力机制 GRU 编码器 - 解码器的抽象文本摘要

    本篇论文中，采用了 GRU-based encoder 和 Bahdanau attention mechanism 对英语文本进行了自动摘要，使用 News-summary 数据集进行训练，其输出表现优异，可以用作报纸头条。

    Feb, 2023

  • 无监督视频摘要

    该论文介绍了一种利用生成对抗网络的思想进行自动视频摘要的新的无监督方法，消除了鉴别器，使用简单的损失函数，并将模型的不同部分训练分离。采用迭代式训练策略，交替训练重构器和帧选择器多次迭代。此外，该方法在训练和评估期间添加了一个可训练的掩码向量到模型中进行摘要生成。在两个公共数据集 (SumMe 和 TVSum) 和四个我们创建的数据集 (Soccer、LoL、MLB 和 ShortMLB) 上的实验证明了每个组件在模型性能上的有效性，特别是迭代式训练策略。与最先进的方法进行的评估和比较突出了该方法在性能、稳定性和训练效率上的优势。

    Nov, 2023

  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 抽象句子摘要的选择性编码

    本研究提出了一种选择性编码模型来扩展序列到序列框架，以实现抽象句子摘要。该模型通过句子编码器、选择门网络和配备注意力的解码器构成。我们在英语 Gigaword、DUC 2004 和 MSR 摘要句子摘要数据集上评估了我们的模型。实验结果表明，所提出的选择性编码模型优于现有的基线模型。

    Apr, 2017

  • 阅读、标记和总结：基于层次神经语义编码器的方法

    本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

    Oct, 2019