SIGIRJun, 2023

挖掘稳定偏好：多媒体推荐的自适应模态解耦

PDF
TL;DR该研究提出了一种 MODEST（MOdality DEcorrelating STable）学习框架，采用基于核的独立性检验测量方式，以学习用户对多媒体内容中不同模态的偏好，提高多媒体推荐性能。
multimedia contentmodalitiesuser preferenceindependence testingmultimedia recommendation
发现论文，激发创造
  • 多媒体推荐中的潜在结构挖掘

    本研究提出了一种基于 LATent sTructure mining method for multImodal reCommEndation（即 LATTICE）的方法，该方法从多种模式中挖掘潜在语义项目 - 项目结构，以学习更好的项目表示形式并进一步推动多媒体推荐，实验表明该方法可以提高推荐准确性。

    Apr, 2021

  • 多模态相似性学习

    本文提出了一种基于多核学习以及基于图的过滤技术的方法，将多媒体数据中的多种模态融合到单一的相似度空间中，以解决多媒体数据中的主观问题和不一致问题。

    Aug, 2010

  • 基于相关性解耦的多模态不完整情感分析知识蒸馏

    我们提出了一个面对不确定缺失模态的多模态情感分析任务的相关解耦知识蒸馏（CorrKD）框架，通过样本级对比蒸馏机制和类别引导的原型蒸馏机制，重构缺失的语义，捕捉交叉类别相关性，并通过响应解耦和互信息最大化优化学生网络的情感决策边界，实验表明我们的框架在三个数据集上相比几个基准模型取得了明显的改进。

    Apr, 2024

  • 稳定学习提高多兴趣网络

    本研究借助 Hilbert-Schmidt 独立性准则提出了一种名为 Deep Stable Multi-Interest Learning (DESMIL) 的新型多兴趣网络，旨在通过为训练样本学习权重以消除捕获兴趣之间微妙依赖的影响，更多地关注底层真正的因果关系，并在公共推荐数据集，大规模工业数据集和模拟分布外数据的合成数据集上进行了大量实验，结果表明我们提出的 DESMIL 模型显著优于现有技术。

    Jul, 2022

  • 多模态摘要的层次交叉语义关联学习模型

    本文提出了一种基于层次交叉模态语义相关性学习模型（HCSCL）的多模态文本摘要方法来处理含异构内容的文本新闻报道。该模型通过采用图网络编码内部相关性和层次融合框架学习文本和图像之间的内部和层次相关性，同时使用含图像注释和目标标签的数据集提供监督信息进行学习。实验表明，HCSCL 在摘要指标和细粒度差异测试中显著优于基线方法。

    Dec, 2021

  • 多模态数据中有用特征提取的高效方法

    本文提出了 Soft-HGR 框架来从多个数据模式中提取信息特征，以解决 HGR 最大相关限制应用受限的问题。该框架不使用严格的白化约束，同时保留了与 HGR 最大相关相同的特征几何。我们进一步推广了该框架以处理多个模态和缺失模态，并进行了半监督的适应。经验证明，我们的方法学习到了更多的信息特征映射，并且更易于优化。

    Nov, 2018

  • 分解式多模态主题模型

    本文介绍了一种新型的 HDP 主题模型，可以同时学习共享和私有的主题，在多模态的数据收集和分析中特别有用。

    Oct, 2012

  • 通过相关最大化和最小化实现多模态理解

    使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。

    May, 2023

  • 多模态情感分析的一般去偏方法

    通过减少模型对虚假相关性的依赖，我们提出了一个基于逆概率加权的通用去偏方法，以提升多模态情感分析模型的超出分布泛化能力。通过解耦每种模态的鲁棒特征和偏倚特征，并利用偏倚特征估计偏倚，我们使用逆概率加权来减少对大偏倚样本的影响，从而促进情感预测的鲁棒特征学习。实证结果证明了我们提出的框架具有优越的泛化能力。

    Jul, 2023

  • 解开基于 Session 的推荐中 ID 和模态效应的影响

    提出了一种新的框架 DIMO，通过解开 ID 和模态性在任务中的效应，实现了准确且可解释的推荐，通过因果推断进一步生成两个模板用于解释。

    Apr, 2024