Mar, 2024

OVEL：作为在线视频实体链接的大型语言模型的内存管理器

PDF
TL;DR近年来，多模态实体链接（MEL）备受研究界关注，由于其在众多多模态应用中的重要性。本文提出了一项名为在线视频实体链接（OVEL）的任务，旨在建立在线视频中提及的内容与知识库之间的准确和及时的连接。为了促进 OVEL 的研究工作，我们针对直播传输场景构建了一个称为 LIVE 的直播传输实体链接数据集。此外，我们提出了一个考虑到时间性、稳定性和准确性的评价指标。为了有效处理 OVEL 任务，我们利用由大型语言模型管理的内存块，从知识库中检索实体候选项，以增强 LLM 在内存管理方面的性能。实验结果证明了我们方法的有效性和效率。
multi-modal entity linkingonline video entity linkinglive delivery scenariosknowledge basememory management
发现论文，激发创造
  • 推文的多模态实体链接

    本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。

    Apr, 2021

  • 生成式多模态实体链接

    在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

    Jun, 2023

  • 视频 LLM-online：用于流媒体视频的在线视频大语言模型

    通过学习视频流进行大规模语言模型增强，提供视觉能力及实时对话功能，以应对视频流输入的视频流对话学习目标、数据生成方案和优化推断流程的新颖学习框架。

    Jun, 2024

  • 视觉命名实体链接：一个新数据集和一个基准

    本文提出了一个基于纯视觉的命名实体链接 (VNEL) 任务，其目的是仅基于图像识别出图像中的实体，并将其链接到知识库中的对应命名实体。同时，作者们还提出了三个不同的子任务，分别为 V2VEL、V2TEL 和 V2VTEL，针对不同类型实体，分别采取不同的处理方式，并使用人类标注的实体数据集 WIKIPerson，为每个子任务建立了基础算法模型，并对模型的有效性进行了实验验证。

    Nov, 2022

  • 跨模态视频文字检索的记忆增强嵌入学习

    本研究提出了一种新颖的记忆增强嵌入学习（MEEL）方法，构建了两种记忆模块，交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 两个基准数据集上进行的实验表明，该方法具有很高的有效性。

    Mar, 2021

  • 一种基于文本匹配的双向增强框架的多模态实体链接

    多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

    Dec, 2023

  • AMELI：细粒度属性增强的多模态实体链接

    提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

    May, 2023

  • VLM-Eval: 视频大型语言模型的通用评估

    本文提出了一个统一的评估方法，包括字幕、问答、检索和行动识别等多个视频任务，展示了基于 GPT 的评估方法在多个方面可以与人类一样的表现，同时也展示了一种简单的基准方法 Video-LLaVA，在评估视频 LLMs 时优于现有方法。此外，我们还在实际驾驶场景中评估了视频 LLMs 的有效性，并展示了令人鼓舞的识别和推理能力。希望我们的工作能为视频 LLMs 提供一个统一的评估方法，并帮助扩展更多实际应用场景。

    Nov, 2023

  • 多语种实体链接基于密集检索

    实体链接是将文本提及与相应实体连接的计算过程。本论文通过开发多个系统，证明了即使资源有限，也可以构建在多种语言中运作的竞争性神经网络实体链接系统，从而使实体链接更容易接近。

    May, 2024

  • 使用多个嵌入表示的实体命名链接

    提出了一种基于多重嵌入的命名实体链接方法，并在 Namesakes 数据集上评估了其性能。发现创建知识库实体所需的最少提及数量对 NEL 性能非常重要，并可通过调整知识库数据来改善表示，同时也发现多样化新闻语料库的语言模型比公共数据集更适合命名实体链接中的嵌入。

    May, 2022