May, 2023

SuperDialseg：一款大规模的用于有监督对话分段的数据集

PDF
TL;DR本文通过文件引导对话，并发布一个大规模的受监督数据集 SuperDialseg，该数据集包含基于两个流行的文件引导对话语料库的 9K 个对话。此外，我们提出了两个模型来利用对话特征，实现关于对话分割任务的表现，并提供包括 20 个模型在内的基准测试，并根据实证研究提供了一些洞见。我们相信我们的工作是对话分割领域向前迈出的重要一步。
dialogue segmentationsupervised datasetdocument-grounded dialoguesstate-of-the-art performanceevaluation metrics
发现论文，激发创造
  • 基于 LLM 监督的零训练语义分割

    该论文介绍了一种利用大型语言模型（LLM）进行文本监督语义分割的新方法，该方法通过生成更准确的类别表示来提供多样化的分割结果，并通过合并不同的子类描述符的分割图确保对测试图像的更全面的表示。经过三个标准基准的全面实验，我们的方法比传统的文本监督语义分割方法表现出更好的性能。

    Mar, 2024

  • 无需指导的开放词汇语义分割

    TAG 是一种新颖的方法，用于在计算机视觉中进行无需训练、注释和指导的开放词汇语义分割，通过利用预训练模型以及来自外部数据库的类别标签检索，达到了在 PascalVOC、PascalContext 和 ADE20K 数据集上的开放词汇分割的最新成果。

    Mar, 2024

  • 基于语言的室内野外 3D 语义分割

    本文提出新的计算机视觉方法，使 3D 语义分割可以更好地理解具有更多类别和自然分布的真实环境，并在新的扩展基准上测试，使用语言驱动的预训练方法使特征更鲁棒。实验结果表明，我们的方法在提出的基准上始终优于现有技术。

    Apr, 2022

  • 基于基础模型的 3D 开放词汇分割

    本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

    May, 2023

  • 使用语言对任意 3D 物体进行分割

    本文介绍了一种基于语言指令的语义和几何感知的视觉语言学习框架，通过直接从 3D 点云生成语义相关的掩码，从而在 ScanNetv2、ScanNet200 和 Replica 基准测试中明显优于现有方法，且结果接近全监督对照组，尽管训练数据中缺乏类别标注。

    Apr, 2024

  • 大规模无监督语义分割

    该研究提出了一个新的大规模无监督语义分割的问题（LUSS），并创建了一个基准数据集来帮助研究。该基准数据集名为 ImageNet-S，包含 120 万个训练图像和 50K 高质量的语义分割注释进行评估。此外，研究人员还提出了一种简单而有效的方法，可用于大规模无监督语义分割，并且公布了代码和基准数据集。

    Jun, 2021

  • LLM-Seg：图像分割与大型语言模型推理的桥梁

    通过大型语言模型推理分割来理解人类指令以识别目标对象是感知系统至关重要的。本研究工作深入探究了推理分割，这是一项新颖任务，通过大型语言模型推理来解释和识别隐含的用户意图，从而对应地进行分割。我们提出了一个名为 LLM-Seg 的新框架，有效地将当前的基础分割模型和 LLM 连接起来，通过掩码提案选择实现。同时，我们通过自动数据生成流程构建了一个新的推理分割数据集 LLM-Seg40K。实验证明，我们的 LLM-Seg 表现出与现有方法相比具有竞争力的性能。此外，我们提出的流程可以高效地生成高质量的推理分割数据集。通过这个流程开发的 LLM-Seg40K 数据集可用于训练和评估各种推理分割方法的新基准。

    Apr, 2024

  • LaSagnA: 语言化复杂查询段落助手

    最近的研究使得大型语言模型能够生成包括边界框和遮罩在内的详细感知结果。然而，这些语言模型存在两个限制，即无法处理查询中的多个目标以及无法识别图像中查询对象的缺失。本研究中，我们发现这些问题的主要原因是训练查询的复杂度不足。因此，我们定义了复杂查询的通用序列格式。然后，在当前流程中将语义分割任务纳入以满足训练数据的要求。此外，我们提出了三种新策略来有效地处理由所提出格式的直接集成而带来的挑战。我们的模型在处理复杂查询方面的有效性通过在闭集和开集语义分割数据集上与传统方法的可比较结果进行验证。此外，我们在推理和引用分割方面胜过了一系列大型语言模型，展示了我们模型的显著能力。我们在此 https URL 上发布了代码。

    Apr, 2024

  • 基于自然语言的语义分割

    LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

    Jan, 2022

  • 强化多模态大语言模型的分割能力

    我们扩展了多模态大语言模型（MLLMs）的输出，通过赋予其分割能力，从而使其能够同时输出与图像 - 语言提示相关的语言响应并分割语言提示中复杂问题或查询所关注的区域。我们提出了一种名为 LLaVASeg 的新颖 MLLMs 框架，利用连续思维提示策略指导 MLLMs 对用户查询的目标区域进行分割，从而保持了原始 MLLMs 的对话能力并赋予了 MLLMs 模型强大的推理分割能力。

    Mar, 2024