Aug, 2023

OmniDataComposer：多模态数据融合与无限数据生成的统一数据结构

PDF
TL;DROmniDataComposer 是一种创新的方法，用于多模态数据融合和无限数据生成，其核心突破在于引入一种协同处理和合并多模态数据输入的高效数据结构，促进模态之间的互相增强和跨模态数据校正，将视频输入转化为详尽的顺序文档，从而更容易为大型语言模型处理，为视觉内容的视频字幕创作和基于视频内容的问答任务提供了宝贵的洞察。
发现论文，激发创造
  • OmniCorpus：一个包含百亿级图像和文本交叉编码的统一多模态语料库

    介绍了 OmniCorpus 数据集，一个 100 亿级别的图文交错数据集，与互联网数据的呈现范式相一致并且紧密符合人类阅读习惯，通过全面的分析和实验验证了所提出数据集的质量、可用性和有效性，为未来的多模态模型研究提供了坚实的数据基础。

    Jun, 2024

  • OmAgent: 复杂视频理解的多模态代理框架与任务分割

    OmAgent 是一个能够在多模态环境下高效地存储和检索视频帧的系统，通过动态调用 API 和工具进行查询处理和准确性增强，可以确保鲁棒的视频理解，显著减少信息丢失。

    Jun, 2024

  • S-Omninet: 结构化数据增强的通用多模态学习架构

    本文扩展和改进了 Omninet 体系结构，引入了交叉缓存注意力、整合视觉输入的补丁嵌入和支持结构化数据，提出了增强型结构化数据 Omninet (S-Omninet) 模型，能够通过交叉缓存注意力和补丁嵌入在各维度的结构化数据和非结构化数据之间实现有效的相互作用。作者在多模态数据集上评估了所提出的模型，证明相比基准 Omninet 有了显著的性能提升。

    Jul, 2023

  • OmniNet: 多模态多任务学习的统一架构

    本文介绍了一种名为 OmniNet 的神经网络框架，使用 Transformer、Spatio-temporal Cache 和自我注意机制来支持多模态学习和异步多任务学习，并演示了训练多个任务的模型在保持性能的前提下大幅度压缩的能力。

    Jul, 2019

  • OmniTokenizer: 一个用于视觉生成的联合图像 - 视频分词器

    OmniTokenizer 是一种基于 Transformer 的 tokenizer，旨在处理图像和视频输入，并通过空间 - 时间解耦架构以及渐进式训练策略提供先进的重构性能。

    Jun, 2024

  • 全源网络监督学习用于视频识别

    OmniSource 是一个使用多种数据源和格式进行联合训练的框架，能够在没有人类标记的情况下从网上抓取 3.5M 的图片和 800K 分钟的视频，提高了在视频识别领域的表现。

    Mar, 2020

  • OmniBind: 教授建立不等比例模态互动以实现全方位绑定

    通过提出 OmniBind 框架，该研究解决了多模态学习中训练和推理阶段模态组合不匹配和尺度不均衡的问题，通过跨模态对齐蒸馏和自适应融合模块，实现了任意模态组合和统一表示空间的学习，具有较高的性能提升。

    May, 2024

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • OmniFusion 技术报告

    基于预训练的大型语言模型和视觉模态的适配器，我们提出了一种全融合模型 OmniFusion，通过比较多种架构设计原则、图像编码方法和不同的语言模型，在 8 个视觉语言基准测试中取得了最高得分，提供了在不同领域中的高度详细答案，同时我们还提供了 Mistral-based OmniFusion 模型的开源解决方案链接。

    Apr, 2024

  • CommerceMM: 基于全检索的大规模商业多模态表示学习

    CommerceMM 是一种多模态模型，其具备多种理解商业主题的能力，并能够推广到广泛的任务范围，包括多模态分类、图像 - 文本检索、查询 - 产品检索、图像 - 产品检索等。它使用预训练的方式，在图像 - 文本对上完成了 5 个有效的预训练任务，并在 9 个新的跨模态和跨配对检索任务上提出了名为 Omni-Retrieval 的方法。结果表明，该模型在细调后在 7 个与商业相关的下游任务中实现了最先进的性能。

    Feb, 2022