May, 2023

LANISTR：来自结构化和非结构化数据的多模态学习

PDF
TL;DRLANISTR 是一种基于注意力机制的框架，能够学习语言、图像和结构化数据，并通过一种基于相似度的多模态掩蔽损失函数来学习大规模多模态数据中跨模态的关系。在两个具有挑战性的公开数据集 MIMIC-IV 和 Amazon 产品评论上，与现有的多模态模型相比，LANISTR 的绝对改进分别为 6.47％（AUROC）和高达 17.69％（准确性），同时显示出更出色的泛化能力。
multimodal pretrainingstructured dataattention-based frameworkcross-modal relationslarge-scale data
发现论文，激发创造
  • TRINS：面向能够阅读的多模态语言模型

    通过引入 TRINS 数据集和 LaRA 模型，本研究提升了多模式大语言模型在理解图片中的文本内容方面的能力。TRINS 数据集包含了 39,153 个文本丰富的图片、图片描述和 102,437 个问题，并且较之相关数据集，TRINS 的每个标注的字数显著增加。实验结果表明，LaRA 模型在 TRINS 数据集和其他经典基准上表现出色，提高了对于文本丰富图片的理解和生成任务的效果。

    Jun, 2024

  • 双剑合璧：表格数据和图像数据的多模态对比学习

    该研究介绍了一种结合 SimCLR 和 SCARF 的自监督对比学习框架，使用心脏 MR 图像和 120 项临床特征预测冠状动脉疾病风险，并展示了标签作为特征的监督式对比学习的性能。

    Mar, 2023

  • MISAR：一种具备增强现实的多模态指导系统

    创新方法利用大语言模型融合视觉、听觉和语境模态，以提高增强现实系统的状态估计，为更自适应的增强现实系统迈出了一步。

    Oct, 2023

  • 利用单模态自监督学习实现多模态音视频语音识别

    本研究旨在通过使用未经标注的单模态数据和大规模的自监督学习来提高多模态音频 - 视觉语音识别，该方法在实验中表现出良好的效果，取得了相对改善 30% 的优越结果。

    Feb, 2022

  • 多模态半监督学习文本识别

    该文章提出了一种半监督的多模态文本识别方法（SemiMTR），通过使用自监督学习和监督学习相结合的单一阶段，将现有的多模态场景文本识别方法拓展到了未标注数据的应用。该算法利用对视觉模型的预训练和语言模型的微调，同时在每个模态单独地应用连续性正则化方法进行训练，取得了在多个场景文本识别基准测试上的最新成果。

    May, 2022

  • INSTRAUG: 多模态指令微调的自动指令增强

    通过自动指令增强方法名 INSTRAUG 的多模态任务中的精调大型语言模型（LLMs）可以在 12 个多模态任务中显著提高多模态大型语言模型（MLLMs）的对齐度，相当于多次扩大训练数据的好处。

    Feb, 2024

  • VLIS: 单模态语言模型指导多模态语言生成

    多模态语言生成领域中，我们引入了 VLIS，这是一个新的框架，将视觉语言模型的视觉调节能力与纯文本语言模型的语言理解相结合，通过提取图像和文本之间的点对互信息，并将其作为重要性抽样权重来调整基于文本的模型的标记生成概率，从而在共识理解和复杂文本生成任务上提升了视觉语言模型的性能。VLIS 代表了多模态语言生成的一个有前途的新方向。

    Oct, 2023

  • VLSNR: 基于视觉语言协调和时序感知的新闻推荐

    提出了一种视觉 - 语言坐标时间序列新闻推荐方法，基于预训练的多模型编码器，应用自注意力网络学习时间顺序。通过构建的大规模多模式新闻推荐数据集 V-MIND 验证了该方法的优越性。

    Oct, 2022

  • 面向结构化和非结构化数据的模块化端到端多模态学习方法

    多模态学习是一个快速发展的研究领域，它在人工智能中的多任务处理和生成建模方面产生了革命性的影响。本文提出了一种名为 MAGNUM 的模块化端到端多模态学习方法，能够原生地处理结构化和非结构化数据，且灵活性足够高以适应任何专门的单模态模块来从所有可用的模态中提取、压缩和融合信息。

    Mar, 2024

  • ViLaS: 将视觉和语言集成到自动语音识别中

    提出一种多模态自动语音识别模型（ViLaS），能够同时或分别集成视觉和语言线索来帮助识别输入语音，提出一种训练策略，从而提高在模态不完整的测试场景中的性能，并创建一个包含视觉和语言线索的多模态 ASR 数据集（VSDial），探索融合视觉和语言的效果。在 Flickr8K 和自构架构的 VSDial 数据集上进行实证结果报告，调查跨模态融合方案，并对 VSDial 上的细粒度跨模态对齐进行分析。

    May, 2023