scene graph generation | BriefGPT

关键词scene graph generation

搜索结果 - 92

增强数据传输与人工三元组合作的场景图生成
本文重点在于场景图生成（SGG）的训练数据集增强，通过引入 Feature Space Triplet Augmentation（FSTA）和 Soft Transfer 两个模块，成功提高了对具有挑战性的关系三元组的预测准确性，并在 Vi
PDF7 days ago
大规模遥感卫星影像中场景图生成：一个大样本数据集与上下文感知方法
该研究论文提出了一个面向大尺寸卫星图像的场景图生成方法，构建了一个大规模的 SGG 数据集，通过上下文感知级联认知框架实现了场景图的检测、筛选和关系预测。
PDF21 days ago
ReCon1M: 一个大规模用于远程感知图像关系理解的基准数据集
在本研究中，我们介绍了第一个公开可用的大规模、百万级别关系数据集，名为 ReCon1M，用于遥感图像领域。该数据集建立在 Fair1M 的基础上，包括 21,392 张图像，859,751 个不同类别的目标边界框的注释，以及基于这些边界框的
PDF24 days ago
CVPR利用谓词和三元组学习进行场景图生成
本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Trans
PDFa month ago
实时场景图生成
我们提出了一种使用 YOLOV8 作为目标检测骨干网络的实时场景图生成方法，该方法在任务中首次实现超过 48 FPS 的速度，且没有准确度损失，成功胜过任何其他轻量级方法。
PDFa month ago
ICML具有共现知识和可学习的术语频率的场景图生成策略
通过引入 Co-occurrence Knowledge 以及可学习的 TF-l-IDF，我们提出了一种用于场景图生成的模型（CooK），该模型在 SGG 基准数据集中取得了高达 3.8% 的性能提升，对于所有 MPNN 模型表现出了一致的
PDFa month ago
场景图生成指标的综述与高效实现
本文提供了对场景图生成模型常用评价指标的细致定义和全面回顾，并介绍了一个名为 SGBench 的独立 Python 包，该包高效实现了所有定义的评价指标，以确保研究社区的可访问性，并展示了一个场景图基准测试网络服务，使研究人员能够比较场景图
PDF3 months ago
手术室场景图生成的时间动态三模态融合
通过使用 TriTemp-OR 框架，整合图像、点云和语言三种模态，结合时间动态，并借助大规模语言模型，实现对手术场景的综合理解，以预测关系并生成场景图。
PDF3 months ago
AUG：一种用于航空图像城市场景图生成的新数据集和高效模型
该研究构建和发布了一个低视角俯瞰图像的空中城市场景图生成（AUG）数据集，并提出了一种新的保持局部性的图卷积网络（LPG），以解决眼高视角下的图像遮挡问题和全局信息获取的矛盾，在此数据集上的实验证明了 LPG 方法在空中场景图生成中的显著优
PDF3 months ago
CVPR从 Transformer 中提取出图形用于场景图生成的 EGTR
提出一种轻量级的一阶场景图生成（SGG）模型，通过充分利用 DETR 解码器的多头自注意力层中学习到的各种关系，使用浅层关系抽取头有效地提取关系图，并考虑到关系抽取任务对于物体检测任务的依赖，提出了一种新颖的关系平滑技术，根据检测到的物体质
PDF3 months ago
CVPR从像素到图形：利用视觉语言模型进行开放式场景图生成
基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。
PDF3 months ago
使用虚词去偏以提升视觉 - 语言模型中的场景图生成
通过使用预训练的视觉 - 语言模型（VLMs）增强场景图生成（SGG）模型的表示，并结合语言模型估计（LM Estimation）来解决预训练与 SGG 之间的差距，我们的方法有效地处理了词汇偏见，加强了 SGG 的表示，并获得了显著的性能
PDF3 months ago
CVPRDSGG：稠密关系变换器用于端到端场景图生成
本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明
PDF3 months ago
CVPRHiKER-SGG：分层知识增强鲁棒场景图生成
本研究提出了一种新的 SGG 基准测试方法，包括过程生成的天气损坏和其它转换，提出了一种称为 HiKER-SGG 的方法，利用层次化知识图对场景图生成进行精化预测，并在苛刻环境下展示了卓越的性能。
PDF4 months ago
S^2Former-OR：单阶段双模态变压器用于目标剧情生成
本研究介绍了一种新颖的单阶段双模态变压器框架用于手术室中的场景图生成，名为 S^2Former-OR，旨在以端到端的方式辅助利用多视角的 2D 场景和 3D 点云进行场景图生成。通过引入视图同步转运方案促进多视角视觉信息交互，设计几何视觉凝
PDF4 months ago
面向终身场景图生成的知识感知上下文提示学习
基于在预训练语言模型中环境背景学习的成就，本论文提出了一种新颖实用的场景图生成框架，名为终身场景图生成（LSGG），在其中任务如谓词以流式方式展开。严格实验表明，我们提出的方法在 LSGG 方面在各种度量标准上优于现有方法。此外，在两个主流
PDF5 months ago
SGTR+：使用 Transformer 进行端到端场景图生成
通过使用双分图构建方法和终到终的框架，我们提出了一种新的场景图生成方法，有效地解决了组合属性所带来的挑战。实验证明，我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力，超过了现有方法的大部分，达到了最佳性能和时间复杂
PDF5 months ago
ICLR细粒度场景图生成的自适应自训练框架
通过利用未标注的三元组，本研究介绍了一种自我训练框架（ST-SGG），以缓解场景图生成模型在长尾问题上的困扰。同时提出了一种适用于任何现有场景图生成模型的称为 Class-specific Adaptive Thresholding wit
PDF6 months ago
通过扩散模型联合生成场景图和图像
本文介绍了一项新的生成任务：联合场景图像生成。通过引入 DiffuseSG 模型，本文探索了生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了该模型在场景图生成以及相关应用中的优越性。
PDF6 months ago
从整体和特定区域叙述中综合合成场景图的 GPT4SGG
从自然语言描述中学习场景图已被证明是生成场景图的一种廉价且有前途的方法。为了解决从非结构化标题数据中提取有意义的关系三元组、从解析过的三元组中定位未定位对象的模糊问题以及标题数据的稀疏性和偏向性等问题，我们提出了一个简单而有效的框架 GPT
PDF7 months ago