该论文采用决策级融合方法将文本和图像输入用于产品分类预测，通过训练深度神经网络和学习网络来选择输入类型，并成功地提高了大规模产品分类数据集上的准确性。

Nov, 2016

本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。

Aug, 2020

本研究提出了一种多模态模型，通过使用多个神经网络模型从文本（CamemBERT 和 FlauBERT）和视觉数据（SE-ResNeXt-50）提取的特征，并采用简单的融合技术，显著提高了单一模态模型的性能和类似模型性能，我们实验了多种融合技术，并发现将单一模态网络的个体嵌入组合为特征向量的拼接和平均值结合的性能最好，每种模态互补了其他模态的缺点，证明增加模态数量可以是改善多标签和多模态分类问题性能的有效方法。

Jul, 2022

本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

May, 2018

本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

Feb, 2022

本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

Jun, 2018

利用人工智能为时尚推荐系统提供细粒度的视觉解释，自动为顾客上传的图像生成有意义的描述，引导从全球时尚产品目录中检索出符合视觉特征的类似替代品，进而实现个性化的时尚推荐，并在超过 100,000 张已分类的时尚照片数据集上进行训练和评估，物体检测模型的 F1 分数为 0.97，展示了优化的准确时尚物体识别能力，这个视觉感知系统代表了个性化时尚推荐中的重要进展。

Nov, 2023

应用深度学习技术来处理高光谱影像的挑战，如高维度和有限空间分辨率，并通过多模态学习整合雷达和合成孔径雷达数据以提高空间分辨率。此外，采用对抗学习和知识蒸馏来解决领域差异和缺失模态的问题。通过自监督学习方法应对有限的训练样本，并通过降维的自动编码器和半监督学习技术利用无标签数据。所提出的方法在各种高光谱数据集上进行评估，并持续超越现有的最先进技术。

Mar, 2024

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

该研究提出了一种多模态机器学习模型，用于预测 ICD-10 诊断代码，并通过集成不同模态的机器学习模型和提取关键证据来增强预测的可信度和可解释性。在解释性方面，该方法在文本数据上达到了 0.1806 的 Jaccard 相似系数，在表格数据上达到了 0.3105。

Oct, 2018