WWWFeb, 2024

镜面梯度：通过探索平坦局部极小值实现鲁棒的多模态推荐系统

PDF
TL;DR在这篇论文中，我们从平坦的局部极小值的新颖角度分析了多模式推荐系统，并提出了一种简洁而有效的梯度策略，称为镜像梯度（MG）。通过这种策略在优化过程中隐含地增强模型的稳健性，减轻了多模式信息输入导致的不稳定风险。我们提供了强有力的理论证据，并进行了广泛的实证实验，展示了 MG 在各种多模式推荐模型和基准测试中的优越性。此外，我们发现所提出的 MG 可以补充现有的稳健训练方法，并可以轻松扩展到各种先进的推荐模型，使其成为训练多模式推荐系统的一种有前途的新的基本范式。
multimodal recommender systemsflat local minimamirror gradientrobustnessoptimization
发现论文，激发创造
  • 多目标推荐系统的多梯度下降

    本文提出了用随机梯度下降的方法（MGDRec）来解决推荐系统中多目标优化问题，通过梯度规范化将不同度量指标作为一个整体优化，确保同时提升多个利益相关者的目标，避免了全梯度计算的缺点并且在提高准确率的同时也提升了产品的质量。

    Dec, 2019

  • 学习在存在缺失模态的情况下进行推荐

    本篇论文提出一种基于多模态学习和缺失数据补全的推荐系统框架 LRMM，通过利用 modality dropout 和 multimodal sequential autoencoder 算法可以更好地处理缺失的多模态信息和冷启动问题。实验结果表明，该算法在评分预测任务中表现出最先进的性能，且比现有的方法更具实用性。

    Aug, 2018

  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 基于梯度引导的模态解耦用于缺失模态的鲁棒性

    本文介绍了一种使用渐变指示器和梯度引导方法来解决多模态学习中的缺失模态和模态主导性的问题，同时设计了一种动态共享框架来处理模态不完整的数据，并在三个多模态基准数据集上进行了实验证明了该方法的有效性。

    Feb, 2024

  • GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

    本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

    Oct, 2022

  • MMPareto：通过无害单模态辅助提升多模态学习

    多模态学习中存在之前被忽视的多模态与单模态学习目标之间的梯度冲突问题，本文提出了 MMPareto 算法来解决这一冲突，以提高泛化性能和单模态学习的精确度，实验证明了算法的优越性及可扩展性。

    May, 2024

  • 混合线性回归的 Wasserstein 极小极大框架

    本文提出了 Wasserstein Mixed Linear Regression (WMLR)，通过使用一种优化传输的方法来解决 Mixed Linear Regression 问题。WMLR 可以处理混合模型的联邦学习任务，收敛速度较快且具有良好的普适性和泛化性。

    Jun, 2021

  • 基于互信息最大化与最小化和身份嵌入的多模态情感分析的多模态表示学习

    本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

    Jan, 2022

  • 基于交叉交互式协作关系建模的多行为增强推荐

    该研究提出了一种 Graph Neural Multi-Behavior Enhanced Recommendation (GNMR) 框架，它在图形消息传递架构下显式地建模了用户 - 物品不同类型交互之间的依赖关系，以更好地捕捉用户多行为数据的异构协作信号。

    Jan, 2022

  • 通过搜索平坦极小值的多任务合作学习

    多任务学习 (MTL) 在医学图像分析中显示出巨大潜力，通过提高学到的特征的泛化能力和各项任务的性能。本研究将 MTL 作为一个多 / 双层优化问题，采用合作式的方式让特征从各任务中学习，以减轻优化过程中的负迁移问题。实验证明了该方法的有效性，并且与最先进的 MTL 方法相比取得了有希望的结果。

    Sep, 2023