Mar, 2020

利用多模态变分编码器 - 解码器框架预测微视频的受欢迎程度

PDF
TL;DR本文提出了一种用于微视频流行度预测任务的多模态变分编码器解码器（MMVED）框架，其学习一个随机高斯嵌入式微视频，具有信息丰富性，同时保持内在的不确定性。通过深度变分信息瓶颈下界（IBLBO）的优化，学习的隐藏表达式对于流行度目标最具表现力，同时对微视频功能中的噪声最大压缩。此外，将贝叶斯专家乘积原理应用于多模态编码器，综合利用所有可用的模态来决定信息的保留或丢弃。在公共数据集和我们从 Xigua 收集的数据集上进行的大量实验显示出所提出的 MMVED 框架的有效性。
micro-videopopularity predictionmultimodal variational encoder-decoderinformation bottleneckbayesian product-of-experts
发现论文，激发创造
  • 多模式深度生成模型的变分混合专家自编码器

    本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

    Nov, 2019

  • 变分记忆编码器 - 解码器

    本文介绍了通过使用外部记忆的混合模型 —— 变分记忆编码器 - 解码器（VMED），在保持一致性的同时引入变异的方法来生成对话中的话语。在各种对话数据集上的实验证明，VMED 在指标和素质评估方面均取得了显著的改进。

    Jul, 2018

  • 使用置换不变编码器和更紧的变分界限学习多模态生成模型

    通过多模态数据，在机器学习研究中设计深度潜变量模型一直是一个长期的主题。本文考虑了一种可以严密下界数据对数似然的变分约束，同时发展了更灵活的聚合方案，通过组合不同模态的编码特征与置换不变神经网络。数值实验表明了多模态变分约束和各种聚合方案之间的权衡。我们展示了当我们想近似已鉴别模型中观察到的模态和潜变量的真实联合分布时，更紧密的变分约束和更灵活的聚合模型可能会带来益处。

    Sep, 2023

  • 视频排序的深度多模态特征编码

    通过对视频的各种形式进行联合分析（包括视频帧、音频和任何附带文本），我们提出了一种学习紧凑的多模态特征表示形式的方法，证明了多模态表示是互补的，可以在提高许多应用性能中发挥关键作用。

    Apr, 2020

  • 多模态 VAEs 中的统一多样性：改进的表示学习

    用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力，如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束，提出了一种新的专家混合先验方法，软指导每个模态的潜编码向共享的聚合后验靠近，从而得到一个更好的潜编码表示，并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明，与现有方法相比，学到的潜编码表示和缺失数据模态的插补有所改进。

    Mar, 2024

  • 可扩展的弱监督学习的多模态生成模型

    本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

    Feb, 2018

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 视频语料库中的时刻定位层级多模态编码器

    本文提出了一种名为 HAMMER 的 HierArchical Multi-Modal EncodeR 模型，通过在粗略的片段级别和细粒度的帧级别编码视频，从多个子任务中提取不同尺度的信息，从而解决了在未处理和未分段的视频中定位未定义段的挑战。实验结果表明，我们的方法优于以前的方法和强基线，是此任务的新的 state-of-the-art。

    Nov, 2020

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017