Apr, 2023

面向多模态 DBMS 的文本和表格无缝查询

PDF
TL;DR本研究提出了一种新的数据库系统 Multi-Modal Databases（MMDBs），该系统能够使用 SQL 无缝查询文本和表格数据，并通过使用基于最近大型语言模型（如 GPT-3）的所谓多模式运算符（MMOps）扩展关系数据库以实现对文本数据的无缝查询。
发现论文，激发创造
  • 多模态神经数据库

    本文提出了一种新的框架，即多模态神经数据库（MMNDBs），用于回答涉及不同输入模式（如文本和图像）的复杂类似数据库的查询，通过多媒体信息检索和多模态深度学习技术的结合，MMNDBs 能够处理来自不同模式的非结构化数据，为该领域的未来研究铺平了道路。

    May, 2023

  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021

  • 多模表格理解

    本研究论文提出了一种新的问题，即多模态表格理解，其中模型需要根据给定的表格图像对各种与表格相关的请求生成正确的响应。为了促进模型的训练和评估，构建了一个名为 MMTab 的大规模数据集，该数据集涵盖了广泛的表格图像、指令和任务。在此基础上，研发了 Table-LLaVA，一种通用的表格多模态大型语言模型（MLLM），在 23 个基准测试中，在保留内部和保留外部设置下，其性能明显优于最近的开源 MLLM 基准线。

    Jun, 2024

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • 多模态知识图谱构建和应用：综述

    该研究论文介绍了多模态知识图谱，探讨了构建及应用过程中的挑战和进步，并分析了不同解决方案的优缺点及与 MMKG 相关的未解决研究问题。

    Feb, 2022

  • 多模态、多任务、可解释的模块化网络

    MultiModN 通过融合多种数据类型的潜在表示，提供了对多个预测任务的实时反馈，解释性好且对缺失数据具有鲁棒性，同时不影响性能。

    Sep, 2023

  • 一个统一的可传输的机器学习增强数据库管理系统模型

    本文介绍了一种基于多任务迁移学习和预训练微调的统一模型 MTMLF，旨在解决数据库管理系统中现有机器学习方法无法有效探究不同任务间内在联系、同时重复训练大量训练数据的问题，从而实现云数据库服务的革命性发展。同时，作者在块查询优化任务上进行了实证研究，并提出了未来探究方向。

    May, 2021

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 多模态大型语言模型综述

    本文探究了多模态语言模型的研究，集成了多种数据类型，如图像、文本、语言、音频和其他异构数据。通过合并各种模态，多模态模型能够更全面地理解和处理多样化的数据，本文旨在促进对多模态模型及其在各领域中的潜力的更深入理解。

    Nov, 2023

  • 多模式生成嵌入模型

    多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

    May, 2024