Jun, 2024

超越视觉外观：通过混合图推理进行隐私敏感对象识别

PDF
TL;DR隐私敏感目标识别任务通过为场景中的隐私敏感目标分配边界框来确定对象的隐私类别，并将该任务解释为场景中每个对象的隐私视角的视觉推理任务；因此，本文提出了一种名为 PrivacyGuard 的框架来处理此任务，该框架包含了三个核心阶段：结构化、数据增强和混合图生成与推理，通过这些阶段，可以改善场景的推理能力，并捕捉到微妙的上下文变化。
privacy-sensitive object identificationprivacy classvisual reasoning taskprivacyguard frameworkstructured, heterogeneous scene graph
发现论文，激发创造
  • SHAN: 基于场景异质图的目标级隐私检测

    通过构建场景异构图和利用自注意机制对场景推理，提出了 SHAN（Scene Heterogeneous graph Attention Network）模型，用于目标级别隐私检测任务，实验证明 SHAN 在隐私对象检测任务中表现出色，所有指标均超过基准模型。

    Mar, 2024

  • 基于内容的图形隐私顾问

    本文提出了一个基于场景信息和物品基数的图像隐私分类器 ——Graph Privacy Advisor，通过简化现有图形模型和提取最具信息量的视觉特征，使用更有效的低维特征取代高维图像特征，解决了有关偏差先验信息的问题。

    Oct, 2022

  • 基于图的人 - 物交互检测交互式推理

    本文提出了一种名为交互图的图形交互推理模型，以推断人类和周围物体的相互作用，并构建了新的框架用于检测 HOIs，即 in-GraphNet，该模型能够有效地利用视觉目标间的交互语义，且不需要昂贵的注释，实验证明该方法在 V-COCO 和 HICO-DET 基准测试中比现有的 HOI 检测方法表现更优，基准线相对提高了 9.4% 和 15%。

    Jul, 2020

  • 解释相关对象和隐私的模型

    利用从图像中提取的对象来确定图像为私人图像的难度比较大。通过使用特征归属来解释这些模型的决策，我们发现人类类别和其个数是决定隐私决策的主要因素。因此，这些模型在识别包含敏感数据的私人图像、车辆所有权和互联网活动的图像，以及含有人类的公共图像时通常失败。为了将来的基准测试，我们还设计了两个基于人类出现和数量的策略，并实现了与隐私模型相当的分类性能。

    May, 2024

  • 实用的隐私保护 POI 推荐

    本文提出了一种隐私保护的 POI 推荐框架 PriRec，采用本地差分隐私技术保护用户数据、采用安全的去中心化梯度下降协议在用户端训练、采用安全聚合策略在联邦学习范式下训练特征交互模型，实现了用户数据和模型的本地保存和保护，同时具有可比较甚至更优的推荐准确性。

    Mar, 2020

  • 利用场景图进行人 - 物互动检测

    提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

    Aug, 2021

  • 上下文异构图神经网络用于人 - 物交互检测

    本文提出一种基于异构图网络的目标与人交互检测方法，通过将人和物体建模为不同种类的节点，利用节点之间的内部关联信息和跨类别信息，再利用图注意力机制提升学习效果，实验表明内部关系和跨类别信息对于目标与人交互检测非常重要，并证实了模型的有效性。

    Oct, 2020

  • 人 - 物交互检测的视觉 - 语义图注意力网络

    通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

    Jan, 2020

  • 基于几何特征的视频多人物体交互识别

    本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。

    Jul, 2022

  • 探索人物 - 物体交互中的谓词视觉环境

    通过可视化和精心设计的实验，我们研究了 DETR 框架在人物 - 物体交互研究中的问题，并通过增强图像特征的方式，改进了模型的谓词视觉上下文，从而在 HICO-DET 和 V-COCO 基准上超过了最先进的方法，同时保持了较低的训练成本。

    Aug, 2023