BU-CVKit：可扩展的计算机视觉框架，用于物种无关的跟踪和分析

Jun, 2023

BU-CVKit：可扩展的计算机视觉框架，用于物种无关的跟踪和分析

BU-CVKit: Extendable Computer Vision Framework for Species Independent Tracking and Analysis

Mahir Patel, Lucas Carstensen, Yiwen Gu, Michael E. Hasselmo, Margrit Betke

TL;DR本文介绍了 BU-CVKit—— 一个计算机视觉框架，它可以实现研究流水线的创建，包括可链接的处理器，并且使得其易于复用、访问和从最小开销中提高他人作品的可用性和曝光率。我们提供了 MuSeqPose Kit 作为 BU-CVKit 的用户界面，以自动扫描已安装的插件，并基于用户提供的元数据以程序生成接口。最后，我们展示了使用样例插件构建的行为神经科学流水线的示例。

Abstract

A major bottleneck of interdisciplinary computer vision (CV) research is the lack of a framework that eases the reuse and abstraction of state-of-the-art CV models by CV and non-CV researchers alike. We present here bu-

computer vision bu-cvkit pose estimation neuroscience research pipelines

发现论文，激发创造

ChangeViT: 释放纯视觉 Transformer 的变化检测能力

本文介绍了一种利用 ViTs 骨干结构进行大规模变化检测的 ChangeViT 框架，并引入细节捕获模块和特征注入器，使 ChangeViT 在检测大规模变化和捕获细粒度细节方面表现出色，并在 LEVIR-CD、WHU-CD、CLCD 和 OSCD 四个数据集上取得最先进的性能，验证了该方法的有效性。

Jun, 2024

ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

Oct, 2023

无监督单目视觉里程计的位姿图优化

本文提出一种基于无监督学习的单目视觉里程计系统，结合图优化和回路检测，利用神经网络构建一个包含多视图 6DoF 约束的窗口位姿图，并提出了一种姿态周期一致性损失来改善性能和鲁棒性，进而构建全局位姿图进行优化，实验结果表明该方法具有良好的性能和精度。

Mar, 2019

ViPR: 基于视觉里程计辅助的 6 自由度相机定位姿态回归

提出了一种使用深度学习技术的长期机器人导航方法 ViPR，通过结合绝对位姿估计和相对位姿估计，利用时序信息和模块化的设计，并在已知数据集和工业数据集上取得了较好的效果。

Dec, 2019

自我改进的视觉里程计

我们提出了一种自我监督学习框架，使用未标记的单眼视频序列生成大规模监督，用于训练视觉里程计前端，并使用输出来创建自我监督数据集以重新训练前端。

Dec, 2018

CF-ViT: 一种通用的视觉 Transformer 粗细递进方法

本文提出了一种粗到细的 CF-ViT，实现视觉图像的快速识别，具有较高的计算效率，可以支持小长度的词条序列，大大减少了计算成本。

Mar, 2022

PViT-6D：使用置信水平预测和姿态令牌超频视觉变换器的 6D 位姿估计

我们的研究将 6D 姿态估计问题转化为直接的回归任务，利用 Vision Transformers 的能力进行探索，通过对分类标记的定制使用来进行姿态估计。我们还引入了一种简单的方法来确定姿态的置信度，这可以很容易地集成到大多数 6D 姿态估计框架中。我们的方法 PViT-6D 在实现简单和端到端可学习的同时，表现优于当前最先进方法，在 Linemod-Occlusion 数据集上提高 0.3% ADD (-S)，在 YCB-V 数据集上提高 2.7% ADD (-S)。此外，我们的方法提高了模型的可解释性和推理性能的可靠性。

Nov, 2023

多视角配准监督

本论文提出一个半监督学习框架，利用多视图图像流训练关键点检测器，以弥补有限标注数据的不足。作者使用多视图几何和视觉跟踪的互补关系提供三种监督信号，使用未标记的数据训练网络，证明其优于 DeepLabCut 等现有的关键点检测器，特别适用于猴、狗、老鼠等非人类物种的关键点检测。

Nov, 2018

3D-LatentMapper：三维形状的视角无关的单视图重建

本文提出了一种新的框架，利用 Vision Transformer（ViT）和联合图像 - 文本表示模型 CLIP 的中间潜空间，用于单视图重建，通过学习从 ViT 和 CLIP 提取的深度特征与基础 3D 生成模型的潜在空间之间的映射来揭示 3D 形状的重建，且能够实现视角不受限和大遮挡情况下的 3D 形状重建。

Dec, 2022

所有都值得一提：一种适用于扩散模型的 ViT 主干网络

本篇研究提出了一种基于 Vision Transformers 构建的简单通用的 U-ViT 架构，通过对时间、条件和噪声图像块等所有输入采用标记方法，并在浅层和深层之间采用长跳过连接，实现与同等大小 CNN-based 的 U-Net 相似的无条件和类条件图像生成，以及文本到图像生成任务的优化，具有不错的 FID 得分。该研究结果表明，对于基于扩散的图像建模，长跳过连接至关重要，而 CNN-based U-Net 中的下采样和上采样算子并非总是必要的。

Sep, 2022