本文提出了一种可解释的卷积神经网络模型，基于变分自编码器，用于识别心脏核磁共振分割序列中的疾病，并使用 ' 概念激活向量 ' 技术关联一些向量，并定性地观察在这些向量方向上的测量值的变化，从而提供相应的自然可解释概念，该方法在英国生物银行心脏磁共振成像数据集上检测冠状动脉疾病。

Jun, 2019

在本文中，我们提出和演示了一种使用深度编码器将金融时间序列的多模态数据存储在低维潜空间中的框架，使潜空间投影不仅捕获时间序列趋势，还捕获金融时间序列数据的其他有价值的信息或属性（例如价格波动性），同时允许用户友好的查询界面，包括自然语言文本和时间序列的草图。我们展示了我们的方法在计算效率和准确性方面在真实历史数据和合成数据上的优势，并突出了使用潜空间投影在金融时间序列数据的存储和检索中的实用性。

Sep, 2023

该论文提出了一种新颖的深度学习算法，通过单流网络和新的损失函数来实现音频和视觉信息的联合表示，并使用类中心对共享的深层潜在空间表示进行表征，以实现无需成对或三重监督。在 VoxCeleb 数据集上的多种任务中进行了定量和定性评估，在跨模式验证和匹配方面实现了最先进的性能，验证了该技术在跨模式生物认证应用中的有效性。

Sep, 2019

在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

Oct, 2022

我们提出利用多模态嵌入空间的自然语言特点，在不需要视觉数据的情况下诊断视觉分类器，发现高错误数据片段、标识有影响力的属性并进一步纠正不良模型行为

Feb, 2023

本文介绍了一种名为 MultiViz 的方法，通过四个阶段的解构和分析实现了对多模态机器学习模型的内部机制进行可视化和理解，帮助用户进行模型预测仿真、特征的可解释性赋值、误差分析以及漏洞检测等任务。

Jun, 2022

该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

Mar, 2024

本论文提出了一种自监督生成建模框架，用于联合学习多模态数据的概率潜在状态表示和相应的动态，并且该方法在机器人学方面有显著的预测和表示质量改进。

Apr, 2022

机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

Nov, 2023

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019