我们提出了一种新颖的多模态主动方法来解决金融网络犯罪检测中的可解释性问题。我们利用深度学习模型从交易顺序、子图连接和叙述生成中提取关键表示，显著简化分析师的调查过程，并利用 LLM 生成传真来帮助分析师进一步理解交易和其元数据。

Oct, 2023

本文介绍了多模态与跨模态人工智能技术在智能数据分析中的作用和应用，并提出了一个新的多模态与跨模态人工智能框架 (MMCRAI) 以平衡两种技术，在跨领域应用中取得良好的效果。

Sep, 2022

本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。

Jul, 2023

机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

Nov, 2023

本文系统分析了多模态可解释人工智能的最新进展，主要聚焦于相关的主要预测任务、公开可用的数据集、各类 MXAI 方法、评价指标以及未来研究方向和当前挑战。

Jun, 2023

本研究关注于采用多模态人工智能实现诸如完成句子或回答问题等任务，探讨其伦理评估的挑战，并通过互动式人类反馈创造一个多模态伦理数据库，然后利用该数据库构建算法对模型的道德性进行自动评估，包括 RoBERTa 和多层感知器分类器等。

Apr, 2023

本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。

May, 2024

本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

Feb, 2022

该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。

Dec, 2023

本文介绍了一种多模式图形学习的蓝图，该模型通过将不同模态的数据集组合成图形，并使用图形来利用跨模态的依赖关系，同时利用图形作为指导提供了图形学习方法的设计方案和指导，以解决在多模态数据集中学习的基本挑战。

Sep, 2022