Jun, 2024
医疗应用中多模态深度学习的低资源环境下的向量嵌入对齐方法
Multimodal Deep Learning for Low-Resource Settings: A Vector Embedding Alignment Approach for Healthcare Applications
David Restrepo, Chenwei Wu, Sebastián Andrés Cajas, Luis Filipe Nakayama, Leo Anthony Celi...
TL;DR使用向量嵌入从单模态基础模型和多模态视觉语言模型来进行低资源环境下的多模态深度学习，特别是在医疗领域中。将这些方法与传统方法进行比较，评估它们对计算效率和模型性能的影响，使用精度、F1 分数、推理时间、训练时间和内存使用等指标。结论表明，嵌入降低了计算需求而不影响模型性能，我们提出的对齐方法提高了医疗任务的性能。通过优化受限环境中的资源，此研究促进了可持续的人工智能实践，并突显了基于嵌入的方法在高效多模态学习中的潜力，提升了人工智能在各种用例中的适应性。