场景图生成的语义歧义概率建模

CVPRMar, 2021

Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation

Gengcong Yang, Jingyi Zhang, Yong Zhang, Baoyuan Wu, Yujiu Yang

TL;DR本研究提出了一种新的 Probabilistic Uncertainty Modeling（PUM）模块，通过对不确定性建模实现具有多样性的场景图预测，并与 ResCAGCN 模型相结合，在 Visual Genome 基准测试中取得了最先进的性能。

Abstract

To generate "accurate" scene graphs, almost all existing methods predict pairwise relationships in a deterministic manner. However, we argue that visual relationships are often semantically ambiguous. Specifically, inspired by linguistic knowledge, we classify the ambiguity into three

scene graphs probabilistic uncertainty modeling multi-label prediction visual content rescagcn

发现论文，激发创造

使用有限标签进行场景图预测

本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

Apr, 2019

多模态不确定性感知视觉 - 语言预训练模型

本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

Oct, 2022

不确定性感知的多视角视觉语义嵌入

我们提出了一种 Uncertainty-Aware Multi-View Visual Semantic Embedding (UAMVSE) 框架，通过多种视图 - 文本匹配将整体图像 - 文本匹配分解，引入了一种不确定性感知损失函数（UALoss）来自适应地建模每个视图 - 文本对应关系的不确定性，不同的权重指导模型关注不同的语义信息，增强了模型理解图像和文本的对应关系的能力。我们还设计了一种优化的图像 - 文本匹配策略，通过标准化相似度矩阵来提高模型性能。在 Flicker30k 和 MS-COCO 数据集上的实验结果表明，UAMVSE 优于最先进的模型。

Sep, 2023

用概率 U-Net 对模糊图像进行分割

通过使用结合了 U-Net 和条件变分自编码器的生成式分割模型，我们可以有效地产生无限数量的合理假设，以学习分割的分布，该模型可在肺部和城市街景分割任务中显着优于先前的方法，对于临床决策过程中存在的歧义问题，该模型能提供多种可能性的语义分割假设进行诊断并建议需要进一步的行动。

Jun, 2018

基于内部和外部不确定性的特征聚合模型，用于半监督组织病理图像分割

提出了一种新的基于不确定性正则化的半监督学习方法，利用像素级标注的有限性和图像预测不确定性来改进分割模型，通过多尺度和多阶段特征融合实现了更好的性能。

Mar, 2024

从不确定性推断和亲和力多样性角度解决弱监督语义分割中的模糊性问题

研究提出了 UniA，一种基于不确定性推理和亲和力多样化的统一单阶段弱监督语义分割框架，用于解决弱监督语义分割中的歧义问题，并在 PASCAL VOC、MS COCO 和医学 ACDC 数据集上验证了其有效性和优越性。

Apr, 2024

跨模态检索的基于样本的条件不确定性量化

本文提出了一种新颖的基于原型的随机不确定性量化（PAU）框架，通过对内在数据模糊性的不确定性进行量化，构建了可信赖的预测，为跨模态检索提供准确的不确定性和可靠的预测。

Sep, 2023

顺应化的多模态不确定性回归和推理

本研究介绍了一种轻量级的不确定性估计器，通过将符合预测与深度学习回归器相结合，能够预测多模态（不相交）的不确定性界限。我们特别讨论了它在视觉里程计中的应用，该应用中环境特征，如飞行领域的对称性和模糊和遮挡下的传感器测量，可能导致多模态不确定性。我们的模拟结果显示，在我们的框架中，不确定性估计根据具有挑战性的操作条件自适应地调整每个样本，例如明显的噪声、有限的训练数据和有限的预测模型参数大小。我们还开发了一种推理框架，利用这些稳健的不确定性估计并结合基于光流的推理来提高预测准确性。因此，通过恰当地考虑数据驱动学习的预测不确定性，并通过基于规则的推理关闭其估计循环，我们的方法在所有这些具有挑战性的场景中始终优于传统的深度学习方法，通过减少预测误差 2-3 倍。

Sep, 2023

基于上下文连接的无约束视频人脸识别轨迹不确定性建模

本文中，我们提出了一种名为 “Uncertainty-Gated Graph（UGG）” 的图形模型，用于在视频中进行人脸识别并在最近公开的具有挑战性的 Cast Search in Movies 和 IARPA Janus Surveillance Video Benchmark 数据集中达到最新的成果，UGG 可以通过环境连接进行身份传播，并通过适应性地更新边缘门的权重来显式地建模噪声上下文连接的不确定性。

May, 2019

图学习的不确定性量化：一项综述

对图形模型中的不确定性进行量化的最新方法进行了概述，并将其组织为不确定性表示和处理方法，以加深对图形模型中不确定性量化方法的理解，从而提高其在关键应用中的效果和安全性。

Apr, 2024