多模态推荐的对齐和训练框架

Mar, 2024

An Aligning and Training Framework for Multimodal Recommendations

Yifan Liu, Kangning Zhang, Xiangyuan Ren, Yanhua Huang, Jiarui Jin...

TL;DR通过系统调查多模态推荐中的对齐问题，本文提出了一种名为 AlignRec 的解决方案，由内容内部对齐、内容与分类 ID 之间的对齐，以及用户与项目之间的对齐这三个目标函数组成，将其融入到我们的多模态推荐框架中，并通过实验证明了 AlignRec 相对于其他九种基线方法的优越性。

Abstract

With the development of multimedia applications, multimodal recommendations are playing an essential role, as they can leverage rich contexts beyond user interactions. Existing methods mainly regard multimodal information as an auxiliary, using them to help learn ID features; however,

multimodal recommendations semantic gaps misalignment issue alignrec multimodal features

发现论文，激发创造

BiVRec: 双向基于视图的多模态顺序推荐

提出了一种创新的框架 BivRec，通过联合训练 ID 和多模态视图的推荐任务，使推荐性能实现双向增强。该框架利用多尺度兴趣嵌入和交叉视图兴趣学习等模块，解决了信息异质性问题，并在五个数据集上取得了最先进的性能。

Feb, 2024

MISSRec：用于推荐的预训练和迁移多模态兴趣感知序列表示

该论文提出了一种基于多模态信息的多模态预训练和迁移学习框架（MISSRec），用于顺序推荐，以解决现有基于 ID 特征的推荐方法在稀疏 ID 和冷启动问题方面的性能不佳的问题。通过在用户和候选项两方面分别设计 Transformer-based 的编码器 - 解码器模型和动态融合模块，MISSRec 能够实现更鲁棒且可迁移的序列表示，该方法在实验中表现出的效果和灵活性使其成为实际推荐场景的可行解决方案。

Aug, 2023

TransRec：从混合模态反馈中学习可转移的推荐

通过混合模态反馈实现端到端训练的信息转移神经网络，从而实现基于原始特征的推荐系统，并在四种不同的真实世界推荐设置中评估了其传递能力，为实现通用的推荐系统提供了一种有前途的方法。

Jun, 2022

RA-Rec：基于 LLM 的推荐系统中的高效 ID 表示对齐框架

提出了一种新的 ID 表示对齐框架 RA-Rec，该框架结合了预训练的 ID 嵌入和 LLM，通过创新的对齐模块和高效的调整方法实现了高效的基于 LLM 的推荐，相对于当前最先进的方法，取得了多达 3.0% 的 HitRate@100 改进。

Feb, 2024

替代性伸缩位移测量：一种高效的多模态对齐方法

提出了一种特征对齐方法，该方法完全融合了多模态信息，可以稳健地捕捉不同模态特征之间的高级交互作用，从而显著提高多模态学习的性能，实验评估结果表明该方法达到了最先进的性能水平。

Jun, 2023

如何通过对齐优化多模态数据

研究多模态数据，重要的因素是了解各个模态之间的关系和相互作用，通过对齐各个模态数据可以提高预测质量、跨模态查询以及解决模型解释性问题。通过分析德国议员如何对待极右派 AfD 成员的演讲，以及在 2020 年美国总统竞选中预测视频广告的气氛，我们对有效分析多模态数据提供了重要见解。

May, 2024

通过替代训练增强基于会话的推荐中的 ID 和文本融合

为了解决会话推荐中 ID 模式与文本模式平衡的问题，本研究基于 AlterRec 提出了一种新的训练策略，通过分离 ID 和文本的训练，避免了平衡问题，并设计了一种促进两种模式互相学习和更有效地整合文本的策略。实验证明 AlterRec 在会话推荐中的有效性。

Feb, 2024

多模态推荐的内容和结构的微妙特征中的 ID 嵌入

本文研究了多模态推荐中 ID 嵌入的价值和语义特征，并提出了一种新的推荐模型，通过引入 ID 嵌入来增强内容和结构的语义特征。通过层次化注意机制和对比学习，提高了内容表示，并利用轻量级图卷积网络和 ID 嵌入改进了结构表示，最后将内容和结构表示相结合形成最终的物品嵌入。实验结果证明了我们方法在多个真实数据集上的优越性和对精细 ID 嵌入的有效性。

Nov, 2023

InteraRec: 使用多模态大型语言模型的交互式推荐

通过捕获用户在网站上导航过程中的高频截图，利用多模态大型语言模型（MLLM）从这些截图中提取用户偏好的有价值洞察，基于预定义的关键词生成用户行为摘要，并将该摘要作为输入传递给 LLM 综合优化设置，从而产生量身定制的推荐，我们的实验证明了 InteraRec 在提供有价值和个性化的优惠方面的有效性。

Feb, 2024

基于注意力机制的多模态数据顺序推荐系统

提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

May, 2024