Jul, 2023

S-Omninet: 结构化数据增强的通用多模态学习架构

PDF
TL;DR本文扩展和改进了 Omninet 体系结构，引入了交叉缓存注意力、整合视觉输入的补丁嵌入和支持结构化数据，提出了增强型结构化数据 Omninet (S-Omninet) 模型，能够通过交叉缓存注意力和补丁嵌入在各维度的结构化数据和非结构化数据之间实现有效的相互作用。作者在多模态数据集上评估了所提出的模型，证明相比基准 Omninet 有了显著的性能提升。
multimodal learningmultitask learningomninetstructured datacross-cache attention
发现论文，激发创造
  • OmniNet: 多模态多任务学习的统一架构

    本文介绍了一种名为 OmniNet 的神经网络框架，使用 Transformer、Spatio-temporal Cache 和自我注意机制来支持多模态学习和异步多任务学习，并演示了训练多个任务的模型在保持性能的前提下大幅度压缩的能力。

    Jul, 2019

  • OmniVec：跨模态共享学习的鲁棒表示学习

    学习基于任务的方法共享模态的共同之处，共同架构多任务多模态的网络，使得跨模态任务的联合训练能够实现信息共享并获得最先进的结果。

    Nov, 2023

  • 面向结构化和非结构化数据的模块化端到端多模态学习方法

    多模态学习是一个快速发展的研究领域，它在人工智能中的多任务处理和生成建模方面产生了革命性的影响。本文提出了一种名为 MAGNUM 的模块化端到端多模态学习方法，能够原生地处理结构化和非结构化数据，且灵活性足够高以适应任何专门的单模态模块来从所有可用的模态中提取、压缩和融合信息。

    Mar, 2024

  • 一比多注意力：可扩展多模态集成

    提出了一种新颖的领域中性注意机制，称为 One-Versus-Others（OvO）注意力，可在不降低准确性的情况下降低计算复杂度，并显示与流行的融合技术相比具有更高的性能。

    Jul, 2023

  • OmniDataComposer：多模态数据融合与无限数据生成的统一数据结构

    OmniDataComposer 是一种创新的方法，用于多模态数据融合和无限数据生成，其核心突破在于引入一种协同处理和合并多模态数据输入的高效数据结构，促进模态之间的互相增强和跨模态数据校正，将视频输入转化为详尽的顺序文档，从而更容易为大型语言模型处理，为视觉内容的视频字幕创作和基于视频内容的问答任务提供了宝贵的洞察。

    Aug, 2023

  • OmniBind: 教授建立不等比例模态互动以实现全方位绑定

    通过提出 OmniBind 框架，该研究解决了多模态学习中训练和推理阶段模态组合不匹配和尺度不均衡的问题，通过跨模态对齐蒸馏和自适应融合模块，实现了任意模态组合和统一表示空间的学习，具有较高的性能提升。

    May, 2024

  • OmniSat：地球观测自监督模态融合

    利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

    Apr, 2024

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • MultiInstruct: 通过指令调整提高多模态零样本学习

    本研究提出了 MultiInstruct，这是第一个多模态指令调优基准数据集，旨在设计多个特定的任务和多个专家编写的指令，使用已存在的开源数据集和多个迁移学习策略来优化 OFM 模型的强零示性能，并且探索了一个新的评估指标：敏感性。

    Dec, 2022

  • 探索全模态大规模预训练的极限

    我们提出了建立全模态智能的方法，能够理解任何模态并学习通用表示。通过提出一种可扩展的预训练模式 —— 多模态上下文（MiCo），我们能够在预训练过程中扩大模态数量、数据量和模型参数。MiCo 预训练模型在多模态学习中展现出重要的新能力，并在 10 种不同模态的单一模态感知基准、25 种跨模态理解任务（包括检索、问答、字幕生成）和 18 种多模态大型语言模型基准上获得了 37 项最新成果记录。我们希望我们的研究能够为全模态智能的发展做出贡献。

    Jun, 2024