利用多模态机器学习评估在线游戏技能的研究：以 CS:GO 为例
该研究提出了一种新型的多模信息游戏事件检测框架，旨在构建一个综合框架，增强对进行中游戏情况的理解。实验证明了所提出的多模信息多教师框架的有效性。
Jun, 2024
介绍 GAME-MUG，一个包含多模态游戏情境理解和观众参与评论生成数据集的新数据集，以及使用鲁棒性联合多模态双学习模型作为基线的新观众对话增强评论数据集。通过覆盖游戏情境和观众对话的学习，引入时间序列事件日志，检查模型对游戏情境 / 事件的理解能力和评论生成能力，展示多模态方面覆盖和联合集成学习方法的有效性。
Apr, 2024
本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。
Jun, 2023
本研究构建了一个产品评价模型，通过多模态学习在线产品评价和消费者个人信息，考虑了消费者异质性，同时比较了不同模态或超参数的多个模型，以展示多模态学习在营销分析中的稳健性。
Jan, 2024
该综述探讨了多模式机器学习在工程设计任务中的应用，介绍了用作设计表示及涉及到多模式学习的不同的数据模式，简要说明了五种多模式数据的表示和融合方法、以及其在设计知识检索、设计评估和设计综合中可能的应用，同时强调在工程设计中使用多模式机器学习时可能面临的挑战和未来方向。
Feb, 2023
通过利用少量人工注释，我们提出了一种两步方法来分析多模态数据集，为了在处理数据集时将每个多模态实例映射到所需的模态。我们在 TVQA 视频问答数据集上应用了我们的方法，并发现大多数问题可以用单一模态回答，而且没有对任何特定模态存在实质性偏见。此外，我们发现超过 70％的问题可以用几种不同的单模态策略来解决，例如通过观看视频或听音频，突出了 TVQA 中多模态整合的有限性。我们利用我们的注释并分析 MERLOT Reserve，发现它在处理基于图像的问题、文本和音频以及听觉说话人识别方面存在困难。根据我们的观察，我们引入了一个需要多个模态的新的测试集，观察到模型性能显著下降。我们的方法为多模态数据集提供了有价值的见解，并强调了开发更健壮模型的需求。
Jul, 2023
设计了一款安卓应用程序，结合小游戏和聊天记录的机器人，对 3,783 名中学生进行了综合式多模态筛查。通过引入新的注意机制，开发了名为 GAME 的模型，能够以高准确度（73.34%-92.77%）和 F1 值（71.32%-91.06%）评估青少年的精神状态。研究发现每种模态对于精神疾病筛查和共病症的贡献不同，表明可解释模型具有潜在的可行性。该研究提供了一套能够获取多模态信息并构建综合式多模态集成算法的系统，用于对青少年精神疾病进行早期筛查。
Sep, 2023
机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。
Nov, 2023
该研究提出了一种基于多模态人工智能的框架，以监测一个人的工作行为和压力水平，并发现导致精神紧张和疲劳的个性化独特行为模式，从而检测和分类压力，准确率为 96.09％，可以帮助社区大众，特别是在 COVID-19 当前时间工作久坐人群监测和识别压力水平。
Jun, 2023