Jun, 2023

多模态机器学习中的模态影响

PDF
TL;DR本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。
multimodal machine learningmodalitysentiment analysisemotion recognitionhate speech recognition
发现论文，激发创造
  • 多模态机器学习：概述与分类

    多模态机器学习作为一个充满潜力的多学科领域，在不断发展和完善，其普遍的分类包括：表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式，综合总结目前该领域的研究进展，以期为未来的研究指明方向。

    May, 2017

  • 多模式学习理论

    研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

    Sep, 2023

  • 多模态机器学习的基础和趋势：原理、挑战和开放性问题

    本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

    Sep, 2022

  • 多模态智能：表示学习、信息融合与应用

    本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

    Nov, 2019

  • 多模式是什么？

    本论文讲述了多模态机器学习领域的发展，提出了当前使用的多模式定义过时，不适用于机器学习时代，并提出一种基于任务相对定义的新的多模态定义，重点关注与给定机器学习任务相关的表示和信息。通过我们的新的多模态定义，旨在为多模态研究提供缺失的基础，这是语言基础和迈向自然语言理解的重要组成部分。

    Mar, 2021

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 多模态情感分析中的遗漏模态：一种知识迁移方法

    提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

    Dec, 2023

  • 面向临床辅助基于成像的生物医学应用的多模态机器学习

    机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

    Nov, 2023

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024