Sep, 2023

协作三流变压器用于视频字幕生成

PDF
TL;DR通过设计一个名为 COllaborative three-Stream Transformers（COST）的新框架，来在视频字幕任务中对句子的主语、谓语和宾语进行特殊关注，通过三个分支的 transformers 以及交叉粒度的注意力模块对不同粒度的视觉 - 语言交互进行建模和对齐，以获得准确的字幕预测。实验证明，COST 方法在视频字幕领域中表现优于现有的方法。
video captioningcollaborative three-stream transformersvisual-linguistic interactionsgranularitiessemantic information
发现论文，激发创造
  • 密集关系字幕生成：基于三元组网络的关系字幕生成

    通过引入 “关系字幕” 任务，使用多任务三流网络（MTTSNet）实现 POS 标签指导图像说明的正确顺序，从而提高图像理解能力，相应地，生成更多样化、更丰富的信息表达。

    Mar, 2019

  • 多任务三元流网络实现密集关系图像字幕生成

    本篇研究提出了一种新的图像描述任务：密集关系字幕，该任务旨在生成多个字幕，涉及视觉场景中对象之间的关系信息。通过使用多任务三重流网络（MTTSNet）训练识别 POS（主客观谓宾分类）并生成字幕，同时使用明确的关系模块来改进它的表现。该模型在大型数据集和多个指标上经过了广泛的实验分析，能够生成更多样化、更丰富的字幕，并将其应用于整体图像字幕，场景图生成和检索任务。

    Oct, 2020

  • 利用 Transformer 进行深度足球描述：数据集、语义相关损失和多级评估

    本文通过深度学习为足球视频生成标题，并介绍了一个包含 22k 个标题 - 视频剪辑对和三种视觉特征（图像、光流和修复）的数据集，使用 transformer、ConvNets 和视觉语言特征融合的模型生成标题，并在句法、语义和语料库三个层面上评估生成的标题。研究表明，使用更多视觉特征和注重选择词汇语义的损失可以提高生成标题的多样性和评分。

    Feb, 2022

  • 面向文本到视频检索的语义角色感知相关性变换器

    该论文提出了一种新型的 Transformer 模型，将文本和视频显式分离，通过注意力机制了解三种角色的内部和内部角色之间的相关性，以在不同级别上寻找识别特征，初步结果表明，在所有的指标中，我们的方法都超过了当前最先进的方 法，在两个指标上也超过了两种最先进的方法。

    Jun, 2022

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 实体感知新闻图像标题生成

    该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。

    Apr, 2020

  • COOT：用于视频文本表示学习的协作层次 Transformer

    本文提出了一种名为 Cooperative hierarchical Transformer (COOT) 的方法，它能够利用不同层次的细节信息和多模态之间的相互作用，同时比同类方法减少了参数数量。

    Nov, 2020

  • 知识图谱增强转换器用于视频字幕生成

    本文提出了一种基于知识图谱的 transformer 方法 (TextKG)，分为内外两个流，外部流用于吸收额外知识、缓解长尾词等问题，内部流用于探索多模态信息以保证字幕结果质量。实验表明该方法在视觉字幕领域的四个数据集上均有较好表现。

    Mar, 2023

  • 用于通用事件边界字幕生成的双流 Transformer

    本文介绍了我们在 CVPR2022 Generic Event Boundary Captioning 竞赛中的冠军方案，提出了一种名为 Dual-Stream Transformer 的模型，利用三个预训练模型从不同颗粒度提取视频特征以辅助生成说说内容，设计了词级集成策略以提升生成质量，在 GEBC 测试集上取得了良好的效果。

    Jul, 2022

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024