探索夜间光流的共同外观边界自适应

Jan, 2024

探索夜间光流的共同外观边界自适应

Exploring the Common Appearance-Boundary Adaptation for Nighttime Optical Flow

Hanyu Zhou, Yi Chang, Haoyue Liu, Wending Yan, Yuxing Duan...

TL;DR我们研究了夜间光流的一项具有挑战性的任务，该任务在纹理衰弱和噪声放大等问题下受到影响。我们探索了一个共同的潜在空间作为中间桥梁，以加强辅助领域和夜间领域之间的特征对齐，提出了一种新颖的共同外观 - 边界自适应框架用于夜间光流。我们利用内在图像分解将辅助白天图像和夜间图像嵌入到一个反射对齐的共同空间中进行外观自适应，发现两个反射图像的运动分布非常相似，从而有助于将运动外观知识一致地从白天领域传递到夜间领域。在边界自适应中，我们从一个时空梯度对齐的共同空间中理论推导了夜间图像和累积事件之间的运动相关公式，发现两个时空梯度图的相关性存在显著差异，从而有利于将边界知识从事件领域对比性地传递到夜间领域。此外，外观自适应和边界自适应相互补充，因为它们可以共同将全局运动和局部边界知识传递到夜间领域。

Abstract

We investigate a challenging task of nighttime optical flow, which suffers from weakened texture and amplified noise. These degradations weaken discriminative visual features, thus causing invalid motion feature matching. Typically, existing methods employ domain adaptation to transfer

nighttime optical flow feature alignment common-latent space appearance-boundary adaptation framework motion correlation formula

发现论文，激发创造

学习跨模态对比特征以实现视频领域自适应

设计了一个针对视频数据的统一框架，同时规范化跨模态和跨领域特征表示，通过对 UCF、HMDB 和 EPIC-Kitchens 等领域适应性行动识别基准数据集的实验，证明了方法的有效性。

Aug, 2021

具有物理先验的零样本白天 - 黑夜领域自适应

本文探讨了零样本学习的情景在域适应中的应用，通过利用基于物理反射模型提取的视觉归纳先验减少了在测试集中获取相关数据的代价和困难，使用可训练的卷积神经网络将色不变边缘检测器作为图层，证明了色不变图层减少了网络中特征映射激活的昼夜分布偏移，并在多个任务中展示了零样本昼夜域适应的提高。

Aug, 2021

跨域运动转移的运动和外观适应

本文提出了一个 MAA 方法，实现了跨域运动传输的形状和外观保持，包括引入保持角度信息和结构引导的外观一致性模块，提出的 MAA 模型在数据集 Mixamo-Video to Fashion-Video 和 Vox-Celeb to Cufs 上均有更好的定量和定性效果。

Sep, 2022

跨域相关性蒸馏：用于夜晚语义分割的无监督域自适应

本研究提出了一项通过交叉域相关性蒸馏的新颖域适应框架，称为 CCDistill，旨在充分利用两个图像之间的不变性，从而弥补夜间图像标签缺乏的不足，并实现了夜间语义分割的最先进性能。

May, 2022

基于对抗域特征适应的夜间图像无监督单目深度估计

本文提出一种新的域自适应方法：Adversarial Domain Feature Adaptation (ADFA)，该方法通过训练编码器生成与白天图像相似的夜间图像特征，并使用预训练的深度解码器进行深度估计。实验证明，该方法在处理夜间图像的深度估计和视觉地点识别问题上效果显著。

Oct, 2020

环境对抗域自适应动作识别

本文提出了一种基于领域自适应的行为识别方法，使用对抗学习在跨域场景中学习跨域动作识别，从而实现对低光条件下的人类行为进行识别，并在 InFAR 和 XD145 动作数据集上取得了 SOTA 表现。

Oct, 2022

夜间航空追踪的无监督领域自适应

该研究提出了一种新颖的无监督领域自适应框架 UDAT，通过采用唯一的物体发现方法生成训练补丁，使用 Transformer day /night 功能鉴别器生成 Transformer-based bridging layer 来解决两个域之间的差异，构建 NAT2021 数据集，实验表明该框架在夜间航空跟踪中具有强大的鲁棒性和域适应性。

Mar, 2022

CMDA：夜间语义分割的跨模态领域自适应

提出了一种新颖的无监督跨模态领域自适应（CMDA）框架，利用多模态（图像和事件）信息进行夜间语义分割，仅使用白天图像上的标签，通过设计图像动作提取器和图像内容提取器在图像中提取运动信息和内容信息，以弥合不同模态（图像到事件）和领域（白天到夜晚）之间的差距，并介绍了首个图像 - 事件夜间语义分割数据集，对公众图像数据集和该图像 - 事件数据集进行了广泛实验，证明了我们提出的方法的有效性。

Jul, 2023

相似性极值化：零样本昼夜领域自适应

低光条件下影响人类视觉体验并降低模型在下游视觉任务中的性能。本文挑战了更复杂的零样本白天 - 夜晚领域适应情景，通过图像级别和模型级别的相似性最大化、最小化来优化模型具有更好的泛化能力，显著提高了模型适应性。

Jul, 2023

通过隐式跨域对应实现的长期不变局部特征

通过改进现代视觉特征提取网络的监督方法，我们的方法在跨长期视觉领域变化的图像对捕捉下，显著改善了视觉定位性能，减小了性能差距，为长期部署提供了更稳健的视觉定位方法，并在长期定位基准测试中始终优于现有方法。

Nov, 2023