Jun, 2023

多模态谣言检测的知识增强层次信息相关学习

PDF
TL;DR本文提出了一种基于知识增强的分层信息相关学习方法（KhiCL），通过同时建模基本语义相关性和高阶知识增强实体相关性来进行多模态谣言检测。
multi-modal rumor detectionhierarchical information correlation learningcross-modal fusionentity correlationknowledge relevance reasoning strategy
发现论文，激发创造
  • 知识引导下的双重一致性模型用于多模态谣言检测

    提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实验表明，可以在完整和不完整的多模态条件下优于最先进的基线。

    Jun, 2023

  • 多模态摘要的层次交叉语义关联学习模型

    本文提出了一种基于层次交叉模态语义相关性学习模型（HCSCL）的多模态文本摘要方法来处理含异构内容的文本新闻报道。该模型通过采用图网络编码内部相关性和层次融合框架学习文本和图像之间的内部和层次相关性，同时使用含图像注释和目标标签的数据集提供监督信息进行学习。实验表明，HCSCL 在摘要指标和细粒度差异测试中显著优于基线方法。

    Dec, 2021

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 基于多模态融合框架和集成学习的谣言分类

    本研究提出了一个基于图像特征和集成学习算法的 MONITOR 框架，用于在社交网络中评估信息真实性，并在两个真实数据集上进行广泛实验，结果显示 MONITOR 优于现有的机器学习基线，并且集成模型显着提高了 MONITOR 的性能。

    Jan, 2023

  • 在 MOOC 中建模平衡的显性和隐性关系，利用对比学习进行知识概念推荐

    基于对比学习的 MOOC 知识概念推荐框架 (CL-KCRec) 能有效地表示和平衡 MOOC 中显式和隐式关系，提高知识概念推荐的性能，并满足用户的个性化需求。

    Feb, 2024

  • 重新挖掘、学习和推理：探索跨模态语义相关性用于语言引导的 HOI 检测

    通过结构化文本知识，我们提出了一个系统且统一的框架 (RmLR) 来提高人物 - 物体交互检测，通过分析相互作用信息的损失并生成更全面的视觉表示，设计了更精细的句子 - 词级对齐和知识传递策略以有效解决多个交互和多个文本之间的匹配问题，进而提高了对交互的理解。实验结果表明我们的方法在公共基准测试上实现了最先进的性能，并进一步分析了我们方法的各个组成部分对效果的影响，为其功效提供了洞察。

    Jul, 2023

  • 基于相关性解耦的多模态不完整情感分析知识蒸馏

    我们提出了一个面对不确定缺失模态的多模态情感分析任务的相关解耦知识蒸馏（CorrKD）框架，通过样本级对比蒸馏机制和类别引导的原型蒸馏机制，重构缺失的语义，捕捉交叉类别相关性，并通过响应解耦和互信息最大化优化学生网络的情感决策边界，实验表明我们的框架在三个数据集上相比几个基准模型取得了明显的改进。

    Apr, 2024

  • 知识图谱对比学习用于推荐

    提出了一种知识图谱对比学习的框架 (KGCL)，该框架通过知识图谱增强模式减少了噪声，利用交叉视图对比学习技术进一步抑制了噪声，实现了在稀疏、长尾和有噪声的知识图谱场景下的强大性能。

    May, 2022

  • 基于传播结构的统一对比迁移框架用于增强低资源谣言检测

    本文提出了一种基于统一对比转移框架的谣言检测方法，通过语言对齐和领域自适应对比学习机制，训练多尺度图卷积网络，实现在不同语言资源匮乏的情况下检测谣言，实验证明这种方法比其他方法更具优越性。

    Apr, 2023