ICMLSep, 2020

电视节目多模态内容向量的余弦相似度

PDF
TL;DR本文介绍了如何使用向量表示来自多源的信息，如何通过中间和后期融合技术组合这些向量，以及如何计算其语义相似性。我们使用 BBC 电视节目数据集对模型进行了评估，并证明了后期融合相似矩阵可以显著提高推荐的准确性和多样性。
multimodal informationvectorsfusion techniquessemantic similaritiesrecommendations
发现论文，激发创造
  • 多模态相似性学习

    本文提出了一种基于多核学习以及基于图的过滤技术的方法，将多媒体数据中的多种模态融合到单一的相似度空间中，以解决多媒体数据中的主观问题和不一致问题。

    Aug, 2010

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 基于知识的多模式音乐相似度

    本研究旨在开发一种可解释的音乐相似性分类系统，通过结合符号和音频内容，提高音乐检索、推荐和分析的效率和精度。

    Jun, 2023

  • 多模态相似性保持哈希

    提出了一种高效的计算框架，用于将多模式数据散列成单一表示空间，使它们可以相互比较。该方法基于一种新的耦合孪生神经网络架构，并允许统一处理内部和跨模态相似性学习。与现有的跨模态相似性学习方法不同，我们的散列函数不仅限于二值化线性投影，并且可以呈现出任意复杂的形式。实验表明，该方法在多媒体检索任务中显著优于现有的散列方法。

    Jul, 2012

  • 使用文本引导的多向量模型用于精细化科学文档相似性

    通过匹配文本的精细细节，我们提出了一种新的科学文献相似性模型。我们利用多个论文引用的全文来训练我们的模型，提供了一种新形式的文本监督用于跨论文匹配，具有快速单次匹配和稀疏多次匹配两种方法，提高了在四个数据集上的相似性任务表现。

    Nov, 2021

  • 跨模态音乐视频推荐：设计选择研究

    本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

    Apr, 2021

  • 视频流媒体平台基于内容的推荐引擎

    本研究提出了一个基于内容的推荐引擎，通过使用机器学习算法为用户提供视频建议，该引擎基于用户先前的兴趣和选择。我们将使用 TF-IDF 文本向量化方法来确定文档中单词的相关性，然后通过计算它们之间的余弦相似度来找出每个内容之间的相似度。最后，根据获取的相似度分数值，引擎将向用户推荐视频。此外，我们将通过计算所提出系统的准确率、召回率和 F1 得分来评估引擎的性能。

    Aug, 2023

  • 面向图像检索的多模态查询嵌入算法

    本文提供了一种检测基于多模态查询的图像检索任务的新数据集 SIMAT，使用图像 / 文本匹配预测器来评估基于图像 / 文本匹配策略训练的多模态嵌入空间的几何属性，并研究了利用预训练通用句子编码器（FastText，LASER 和 LaBSE）是否有益。

    Dec, 2021

  • 完美匹配：音频 - 视觉同步的改进型跨模态嵌入

    该论文提出了一种新的跨模态嵌入学习策略，通过多路匹配问题学习嵌入，显著提升了音频到视频同步任务的表现，并用学习到的嵌入进行自我监督的视觉语音识别。

    Sep, 2018

  • 基于主题模型的多义词嵌入

    该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

    Sep, 2019