该研究提出了一种基于多模式学习的汽车评级预测方法，通过同时学习汽车参数规格、文本描述和图像来预测五个汽车评级分数。比较多模式和单模式模型的表现，发现多模式模型的解释能力比单模式模型高 4%-12%。

May, 2023

为了更好地了解广告的主题和情感，本文提出了一种新颖的深度多模态多任务框架，将多种模态整合起来，同时实现广告的主题和情感的预测。通过多模态注意力模块，该模型在最新的大型广告数据集上实现了最先进的性能。

Dec, 2019

本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

Aug, 2017

本文探究了多模态语言模型的研究，集成了多种数据类型，如图像、文本、语言、音频和其他异构数据。通过合并各种模态，多模态模型能够更全面地理解和处理多样化的数据，本文旨在促进对多模态模型及其在各领域中的潜力的更深入理解。

Nov, 2023

本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

May, 2023

与传统情感分析相比，多模态情感分析需要同时考虑来自多模态源的情感信号，它更符合人类在现实场景中处理情感的方式。本文综述了近期文本为中心的多模态情感分析任务中的研究，审视了大型语言模型在文本为中心的多模态情感分析中的潜力、方法、优势和局限性，总结了基于大型语言模型的多模态情感分析技术的应用场景，并探讨了未来多模态情感分析的挑战和潜在研究方向。

Jun, 2024

UniMP 是一种统一的多模式个性化系统的范式，通过使用多模态数据并消除任务和模态特定定制的复杂性，充分发挥了基础生成模型的灵活性和效力，以实现广泛的个性化需求，包括物品推荐、产品搜索、偏好预测、解释生成和用户引导的图像生成。

Mar, 2024

本研究提出了一种多模态融合学习模型，用于识别金融服务提供商中客户流失风险水平，并通过引入迟误融合和混合融合技术取得了显著的流失预测改进，实现了 91.2％的测试准确率、66 的平均准确性和 54 的宏平均 F1 得分，同时还发现了负面情绪、低金融素养得分和高风险客户之间的正相关关系。

Dec, 2023

本综述以数据为中心的视角全面回顾多模态大型语言模型的文献，探索了在多模态数据准备、预训练和适应阶段的方法，分析了数据集的评估方法和评估多模态大型语言模型的基准。此外，本综述还概述了未来的研究方向，以便为研究人员提供对多模态大型语言模型的数据驱动方面的详细理解，推动该领域的进一步探索和创新。

May, 2024

本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。

Mar, 2024