EMNLPDec, 2022

课程学习遇上弱监督的模态相关学习

PDF
TL;DR本文将课程学习引入到弱监督的模态相关学习中，结合特定的评分和馈送功能，在多模情感分析任务中达到最优效果。
发现论文，激发创造
  • 基于相关性解耦的多模态不完整情感分析知识蒸馏

    我们提出了一个面对不确定缺失模态的多模态情感分析任务的相关解耦知识蒸馏（CorrKD）框架，通过样本级对比蒸馏机制和类别引导的原型蒸馏机制，重构缺失的语义，捕捉交叉类别相关性，并通过响应解耦和互信息最大化优化学生网络的情感决策边界，实验表明我们的框架在三个数据集上相比几个基准模型取得了明显的改进。

    Apr, 2024

  • 自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

    本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

    Feb, 2021

  • 若得之则与之，语义对应学习无对标图像

    通过无标签对训练的简单而有效的方法，扩充了数据集的数量和多样性，并在基于语义的对应基准测试中取得了优于里程碑基线和最先进方法的性能提升。

    Nov, 2023

  • 对抗对比自监督学习

    本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

    Feb, 2022

  • 自适应合作相关学习基于半监督多标签特征选择

    提出了一种基于自适应协同相关学习的半监督多标签特征选择方法（Access-MFS），用于解决高维度多标签数据中存在缺失标签样本的维数灾难问题，并通过引入广义回归模型和扩展的不相关约束，在标记数据中选择具有区分性但无关的特征，并同时保持预测和实际标签之间的一致性，从而适应性地学习样本相似性图和标签相似性图，以提高特征选择性能。大量实验结果表明，所提出的 Access-MFS 方法优于其他最先进方法。

    Jun, 2024

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 音视频检索的两阶段三元组损失训练及课程增强

    通过课程学习引导，本研究提出了一种两阶段训练范式，从半硬三元组到困难三元组，来优化跨模态检索模型的性能。在两个音视频数据集上进行的广泛实验结果显示，与当前最先进方法 MSNSCA 相比，我们提出的方法在 AVE 数据集上的视听跨模态检索任务的平均均值平均准确率 (MAP) 方面有显著提升，约为 9.8%，表明我们的方法的有效性。

    Oct, 2023

  • 保留模态结构改善多模式学习

    通过语义 - 结构保持一致性方法，在大规模多模态数据集上进行自监督学习，保留联合多模态表示空间中包含的模态特定关系以提高泛化性能。

    Aug, 2023

  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022