Sep, 2024

面向任务的可驾区域检测预训练

HTML
PDF
TL;DR本研究针对传统预训练方法在大规模数据集和计算资源需求上的局限性，提出了一种面向任务的预训练方法。通过使用Segment Anything模型生成冗余分割提案，并结合特定类别增强微调策略，显著提升了可驾区域检测模型的性能。实验结果表明，该方法在KITTI道路数据集上的表现优于未预训练模型和传统的预训练方法，显示出其潜在的实际应用价值。
发现论文，激发创造
  • 重思ImageNet预训练

    使用随机初始化的标准模型，在 C​​OCO 数据集上进行的目标检测和实例分割，结果不劣于它们的 ImageNet 预训练模型，证明预训练模型并不一定能提高模型最终的准确性。

    Nov, 2018

  • 目标检测预训练分析

    文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

    Apr, 2019

  • 重新思考预训练和自训练

    在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

    Jun, 2020

  • 利用物体级对比学习来调整预训练以进行检测

    通过选择性搜索提出边界框，引入物体层次表征，结合FPN等所需模块的预训练神经网络，并配备物体检测属性，该文提出的选择性物体对比学习（SoCo）方法在物体检测领域取得了最先进的转移学习结果。

    Jun, 2021

  • CA-SSL: 无类别偏见半监督学习用于检测和分割

    提出一种 CA-SSL 框架，采用分离训练策略，包括热身训练阶段，在保留定位训练信号的同时忽略伪标签中的类信息，实现了从未标注的数据中提取训练信号的最优平衡；在 FCOS 目标检测等任务上，相比于 ImageNet 预训练基线模型，该模型在 3.6M 无标注数据集上实现了 4.7％ 的显著性能提升。

    Dec, 2021

  • SEPT: 实现可扩展和高效的视觉预训练

    本文提出了一种用于视觉预训练的可伸缩和有效的自我监督预训练框架，该框架从数据选择的角度出发，并利用相关性来提高下游任务的表现。实验结果表明，该框架可以降低训练样本量并提高模型架构的灵活性。

    Dec, 2022

  • 大规模预训练模型是否可帮助视觉模型完成感知任务？

    本文提出一种新的学习范式，通过利用提前训练的大型模型来增强传统视觉模型的表示能力，并在多个视觉模型中验证了该算法的有效性，可以提高图像分类等任务的准确性。

    Jun, 2023

  • 视觉语言提示学习中的重参数化编码器

    PRE是一种简单而高效的方法，通过使用一种 prompt 编码器来重新参数化输入 prompt 嵌入，从而增强对从少量样本中探索任务特定知识的能力，其在新类上实现了5.60%的平均准确率提升和3%的调和平均数提升。

    Sep, 2023

  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在CLIP训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • 重新审视视觉语言模型的提示预训练

    本研究解决了在视觉语言模型提示预训练中有限可学习提示面临的欠拟合风险和泛化能力不足的问题。我们提出了一种通用框架——重新审视提示预训练（RPP），通过引入不共享的个体查询、键和值学习提示及利用预训练CLIP教师模型的软标签，来提升模型的适应能力和泛化性能。实验表明，RPP在多个基准测试中表现出色，证明了其在各类视觉识别任务中的强大传递能力。

    Sep, 2024