WSDMDec, 2023

MONET: 多模态图卷积网络和目标感知注意力在多媒体推荐中的应用

PDF
TL;DR本研究聚焦于使用图卷积网络（GCNs）的多媒体推荐系统，旨在更有效地利用多模态特征以准确捕捉用户对项目的偏好。通过提出模态包容 GCN（MeGCN）和目标感知注意力等两个核心思想，我们的实验表明 MONET 在七种最先进的竞争者中非常优越（在召回率 @20 方面比最佳竞争者高出 30.32％），并证明了 MONET 的两个核心思想的有效性。
multimedia recommender systemsgraph convolutional networksmultimodal featuresuser-item interactionspreferences for items
发现论文，激发创造
  • 城市时空预测中的多模态图交互和多图卷积网络

    本文研究了基于图卷积网络的多模态机器学习模型，通过引入多模态互动机制，去增强多模态协调表示的学习能力，从而在预测准确性、训练效率、可解释性和模型鲁棒性等方面，优于现有的基准模型。

    May, 2019

  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • 使用图卷积网络对文本建模用于跨模态信息检索

    本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

    Feb, 2018

  • 多通道注意力图卷积神经网络结合情感融合进行多模态情感分析

    本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

    Jan, 2022

  • GCNet：用于对话中不完整多模态学习的图形完形网络

    该研究提出了一种用于在对话中进行不完整多模态学习的新型框架，名为 “Graph Complete Network (GCNet)”，包含两个基于图神经网络的模块 'Speaker GNN' 和 'Temporal GNN' 来捕捉时间和说话者间的依赖关系。实验结果表明，相比于现有的最先进方法，我们的 GCNet 在不完整多模态学习方面表现得更好。

    Mar, 2022

  • 面向推荐的兴趣感知消息传递 GCN

    该研究论文提出了一种新颖的基于 Interest-aware Message-Passing GCN 的推荐模型，通过在用户兴趣相似的子图中进行高阶图卷积操作，避免了过度平滑问题，其在三个基准数据集上的实验结果表明，该模型可以通过叠加更多的层次获得性能提升，并且在 GCN-based 推荐模型上显著优于现有的最佳模型。

    Feb, 2021

  • 一种基于图形的多模态融合编码器在神经机器翻译中的应用

    本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

    Jul, 2020

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • 视频中基于查询的时刻检索的跨模态交互网络

    本文提出一种新颖的交叉模态交互网络 (CMIN)，通过语法图卷积网络，多头自注意力和多阶段跨模态交互，综合考虑语言查询的句法结构、视频上下文语义依赖关系和跨模态交互，提高了视频检索准确性。

    Jun, 2019

  • 多粒度模态注意力网络用于密集情感理解

    本研究提出了一种多粒度网络模型，结合模态注意力和 MOE 分类器，旨在实现视频情感理解和表情预测，在 EEV 挑战中取得 0.02292 的相关分数。

    Jun, 2021