AAAINov, 2018

多模态数据中有用特征提取的高效方法

PDF
TL;DR本文提出了 Soft-HGR 框架来从多个数据模式中提取信息特征，以解决 HGR 最大相关限制应用受限的问题。该框架不使用严格的白化约束，同时保留了与 HGR 最大相关相同的特征几何。我们进一步推广了该框架以处理多个模态和缺失模态，并进行了半监督的适应。经验证明，我们的方法学习到了更多的信息特征映射，并且更易于优化。
multimodal feature extractionhirschfeld-gebelein-renyi maximal correlationsoft-hgrfeature geometrysemi-supervised adaptation
发现论文，激发创造
  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • 通过 Rényi 最小化学习无偏表示

    本文提出了一种通过 Hirschfeld-Gebelein-Renyi (HGR) 最大相关系数生成不带偏见表示的对抗性算法，从而实现了在机器学习算法的训练目标中包含公平性约束。

    Sep, 2020

  • 通过相关最大化和最小化实现多模态理解

    使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。

    May, 2023

  • 基于 Transformer 的异质显著图表示学习用于高光谱和 LiDAR 数据的多模态融合分类

    通过结合多模态图像，本文提出了一种基于 Transformer 的异质显著图形表示（THSGR）方法，以实现更加细致、准确的地表覆盖解释，并且在多个基准数据集上展示了该方法的性能。

    Nov, 2023

  • 挖掘稳定偏好：多媒体推荐的自适应模态解耦

    该研究提出了一种 MODEST（MOdality DEcorrelating STable）学习框架，采用基于核的独立性检验测量方式，以学习用户对多媒体内容中不同模态的偏好，提高多媒体推荐性能。

    Jun, 2023

  • 针对连续特征的公正感知神经 Réyni 最小化

    本文旨在针对连续变量，保证回归模型输出与任何给定的连续敏感变量之间的一定独立性，通过减少 HGR 上限及使用对抗神经网络结构直接最小化 HGR 系数两种途径以最小化 HGR 系数。经过实证评估和比较，我们证明了这两种方法相对于该领域以前提出的工作有重要的改进。

    Nov, 2019

  • MaxCorrMGNN：用于广义多模态融合医学数据的多图神经网络框架进行结果预测

    本文提出了一种称为 MaxCorr MGNN 的创新融合方法，旨在通过 Hirschfeld-Gebelein-Renyi 最大相关性嵌入来建模跨患者内部和之间的非线性模式相关性，从而得出一个多层图模型，从而有效地预测结局。通过设计一种广义的多层图神经网络（MGNN），实现患者模式图的功能驱动推理和端到端的信息传递。我们在肺结核数据集上进行了实验，并始终优于几种最先进的神经网络，基于图的，传统的融合技术。

    Jul, 2023

  • TCGM：一种信息论半监督多模态学习框架

    本文提出了一种新的信息论方法 TCGM，包含多模态无标签数据的信息以促进每个模态分类器的训练，可以鉴别贝叶斯分类器并取得最先进的结果。

    Jul, 2020

  • 跨模态检索的判别式监督子空间学习

    本文提出了基于判别式监督子空间学习（DS2L）的异模检索方法，包括构建共享语义图以保留每种模态内的语义结构，引入 Hilbert-Schmidt 独立准则（HSIC）来保留样本特征相似性和语义相似性的一致性，同时引入相似性保持项以更好地保留每种模态内的语义结构，实验结果表明，该方法在三个公认的基准数据集上取得了显著的效果。

    Jan, 2022

  • 多模态 Transformer 上的自适应对比学习用于评论有用性预测

    本研究旨在提高现代评论有用性预测系统的性能，提出了一种基于多模态对比学习的方法，聚焦于输入模态之间的信息，提高了跨模态关系的显式表达，并引入自适应加权策略以提高优化的灵活性，同时提供了多模态交互模块以解决多模态数据的分布不一致问题，实验证明该方法优于基线算法，在两个公开数据集上实现了最先进的结果。

    Nov, 2022