语义图像分割在线适应之路
通过直接利用 CLIP 进行领域间差异度量,提出了一种新颖的以语言为导向的无监督域自适应方法 CLIP-Div,通过收集到的领域不可知分布度量领域差异并使用语言引导校准目标伪标签,从而有效减小领域差距并提高模型的泛化能力,实验证明此方法在 Office-Home、Office-31、VisDA-2017 和 DomainNet 数据集上均表现优于基于 CNN 的现有方法。
Jul, 2024
可持续觅食问题是一个多智能体环境试验平台,探索智能体处理社会困境中的认知形式,需要通过觅食抵制个体奖励的诱惑并选择集体的长期可持续目标。我们研究了神经进化和深度递归 Q 网络在线学习的方法,使智能体可以像所需的恶性社会问题一样尝试解决问题。我们进一步探讨了利用长短期记忆学习时间依赖性是否能够帮助智能体开发长期的可持续觅食策略。研究发现,长短期记忆的整合帮助智能体开发了单个智能体的可持续策略,但未能帮助智能体处理多智能体场景中出现的社会困境。
Jul, 2024
使用转换器图层作为特征编码器,将空间和时间的可传递性关系融入到注意机制中,提出了 TransferAttn 框架以适应不同骨干的跨领域知识,通过改变自注意机制为可传递性注意机制,引入 DTAB 模块来增加 ViT 的可传递性,验证了 TransferAttn 和 DTAB 在多个数据集和不同骨干下的有效性。
Jul, 2024
该论文提出了一种通过梯度的类权重估计来动态调整无监督领域自适应学习损失函数的类别平衡策略,名为基于梯度的类权重学习(GBW),在密集预测视觉任务中取得有效结果,尤其对于语义和全景分割任务能够提高低表征类的召回率。
Jul, 2024
通过引入一种在线、元梯度算法,我们改善了规划过程的效率,进而提高了整体学习过程的样本效率。我们的方法避免了传统规划方法的几种病态现象,并有望在未来的研究中为大规模模型驱动的强化学习系统的设计提供有用的参考。
Jun, 2024
我们提出了一种能够在无监督领域适应中实现 3D 物体检测的框架,称为 STAL3D,通过协作自训练和对抗学习利用伪标签和特征分布对齐的互补优势,并设计了面向 3D 跨域场景的背景抑制对抗学习模块和尺度过滤模块,有效减轻了大部分背景干扰和源域尺寸偏差的问题。在多个跨域任务上,我们的 STAL3D 实现了最先进的性能,甚至在 Waymo 到 KITTI 和 Waymo 到 KITTI-rain 任务上超过了 Oracle 结果。
Jun, 2024
提出了 DEC,这是一个灵活的多源数据集的 UDA 框架,通过将语义类别进行分类,并使用仅在合成数据集上训练的集成模型将它们的输出融合,来解决研究中的合成多源数据集的挑战,以获得最终的分割掩模,并可以与现有的 UDA 方法相结合,在 Cityscapes、BDD100K 和 Mapillary Vistas 上实现了最先进的性能。
Jun, 2024
从单视图的高分辨率遥感图像实现全球语义三维理解是地球观测领域的关键问题之一。本论文介绍了专门为地球观测领域开发的合成数据生成流程,并提出了全球最大的合成卫星影像三维数据集 SynRS3D,其中包括 69667 幅高分辨率光学图像,覆盖了全球六个不同的城市风格和八种地表覆盖类型,还提供了精确的高度信息和建筑物变化遮罩。为提高数据集的效用,我们还开发了一种新颖的多任务无监督域自适应方法 RS3DAda,结合了合成数据集,在土地覆盖制图和高度估计任务中实现了从合成到真实场景的转换,并最终实现了基于合成数据的全球单目三维语义理解。在各种真实世界数据集上进行的大量实验证明了我们合成数据集和提出的 RS3DAda 方法的适应性和有效性。SynRS3D 数据集和相关代码将会提供。
Jun, 2024
提出了一种新颖的复杂到简单框架(CTS),从有标记的仿真域(源)转移模型到无标记的实际域(目标),通过开发固定大小的锚头和 RoI 增强来提高伪标签的质量,并开发角格式表示的 Aleatoric 不确定性(AU)以统一量化伪标签质量,还基于 AU 开发了一个噪声感知的均值教师域适应方法,以及基于 AU 的对象级和帧级采样策略,以迁移噪声标签的影响,实验结果表明,我们提出的方法显著增强了三维物体检测模型的仿真到实际域适应能力,胜过了通常针对实际到实际无监督域适应任务开发的最先进跨域算法。
Jun, 2024