BIT:生物启示追踪器
研究深度神经网络在视觉追踪中是否具有物体外观和运动特征模拟的能力,并提出了一种追踪对象基于动态线索电路模型,并将之加到基于转换器的体系结构进行追踪,使其具有更好的普遍性和鲁棒性。
May, 2021
本文提出了神经视觉注意力算法(NeVA),并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明,该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型,同时可灵活地研究不同任务对视觉行为的影响,并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。
Apr, 2022
视觉变换器 (ViTs) 是许多计算机视觉基准测试的最佳模型,可以准确预测对象识别任务上的人类行为。然而,研究人员对使用 ViTs 作为生物学习模型的价值产生了质疑,因为人们认为 ViTs 需要比大脑更多的训练数据才能达到类似的性能水平。为了测试这个假设,我们通过对 ViTs 和新生小鸡进行平行控制饲养实验,直接比较了它们的学习能力。当 ViTs 在新生小鸡的视角下进行训练时,ViTs 能够解决与小鸡相同的视角不变的对象识别任务。因此,ViTs 并不比新生视觉系统更加贪婪于数据:在贫乏的视觉环境中,两者都学习到了视角不变的对象表示。ViTs 的灵活和通用的基于注意力的学习机制与新生动物可用的具体数据流似乎足以推动动物样的对象识别的发展。
Dec, 2023
介绍了一种名为 BioTracker 的开源计算机视觉框架,可用于追踪动物在不同环境中的位置,提供多种不同的跟踪算法并支持自定义实现新的跟踪模块和视觉算法,有助于加快科学研究速度和开发新的视觉算法。
Mar, 2018
通过使用具有视觉和上下文输入的多模态模型 VISION,我们成功预测了人类大脑对自然图像的功能性磁共振成像(fMRI)扫描反应,其准确度超过了现有技术性能 45%,并揭示了不同视觉区域的表征偏差,生成了可实验检验的假设,并形成了可解释的指标将这些假设与皮层功能相关联,为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化,我们的工作表明可能揭示出对视觉皮层的基本理解,并提供可靠的脑机接口的可行方法。
Sep, 2023
利用 Gabor 滤波器和学习能力,结合视觉变换器模型,设计了一种有效的金字塔网络结构,称为 Focal Vision Transformers(FViTs),在各种视觉任务中展现出出色的性能。
Feb, 2024
使用 MobileViT 作为骨干网络并采用融合模板和搜索区域表示的新方法,我们提出了一种轻量级、准确和快速的跟踪算法。实验结果表明,我们的基于 MobileViT 的追踪器 MVT 在大规模数据集 GOT10k 和 TrackingNet 上的性能超过了最新的轻量级追踪器,并且具有较高的推理速度。此外,我们的方法在模型参数减少 4.7 倍并在 GPU 上运行速度为 DiMP-50 追踪器的 2.8 倍的情况下,胜过了流行的 DiMP-50 追踪器。
Sep, 2023
提出了一种自适应 ViT 模型预测跟踪器 (AViTMP),通过引入适配器模块和联合目标状态嵌入来丰富基于 ViT 的稠密嵌入范式,并结合了稠密融合解码器和判别式目标模型以预测准确位置。通过双向循环跟踪验证的循环跟踪方法 CycleTrack 增强了跟踪的鲁棒性,还提出了双帧更新推理策略以有效处理长期场景中的挑战。大量实验证明,AViTMP 在长时间跟踪和鲁棒性方面达到了最先进的性能。
Oct, 2023