Feb, 2024

领域适应的细调蒸馏框架用于提升农场监控

PDF
TL;DR本研究提出了一个用于骆驼农场监测的自动化框架，引入了两个关键技术：统一自动注释框架和精调蒸馏框架；统一自动注释方法将 GroundingDINO（GD）和 Segment-Anything-Model（SAM）模型相结合，用于自动标注从监控视频中提取的原始数据集；基于此，精调蒸馏框架通过使用自动标注的数据集对学生模型进行微调，将大型教师模型的知识转移给学生模型；该框架适应特定用例，并能将知识从大型模型传递给小型模型，适用于领域特定应用；借助阿联酋迪拜的 Al-Marmoom 骆驼农场收集的原始数据集和预训练的教师模型 GroundingDINO，精调蒸馏框架生成一种轻量级的可部署模型 YOLOv8；这一框架表现出高性能和计算效率，有助于实现高效的实时目标检测。
automated frameworkcamel farm monitoringunified auto-annotationfine-tune distillationobject detection
发现论文，激发创造
  • 自知力蒸馏实现鲁棒准确的物体检测

    本文提出 Unified Decoupled Feature Alignment (UDFA)，通过全面探索自知识蒸馏与对抗训练的组合应用于目标检测中，实现比现有方法更好的性能。在 PASCAL-VOC 和 MS-COCO 基准测试中，UDFA 可以超越标准训练和最先进的对抗训练方法，提高了准确度，并提高了鲁棒性。

    Nov, 2021

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 细粒度车辆识别的渐进式多任务抗噪学习和蒸馏框架

    本文提出了一种渐进式多任务抗噪声学习（PMAL）框架和一种渐进式多任务蒸馏（PMD）框架，以解决细粒度车辆识别中由图像噪声引起的类内差异问题。通过将图像去噪视为图像识别中的一项额外任务，并渐进地使模型学习噪声不变性，PMAL 框架实现了较高的识别准确性。PMD 框架将 PMAL 训练模型的知识转移到原始骨干网络中，产生一个具有与 PMAL 训练模型相同识别准确性的模型，但没有原始骨干网络的额外开销。结合这两个框架，在 Stanford Cars 和 CompCars 等两个广泛使用的标准细粒度车辆识别数据集，以及北京理工大学（BIT）车辆、Vehicle Type Image Data 2（VTID2）和 Vehicle Images Dataset for Make Model Recognition（VIDMMR）等三个监控图像车辆类型分类数据集上，获得了显著超过以往最先进方法的模型，而没有原始骨干网络的额外开销。

    Jan, 2024

  • 对齐和提炼：统一和改进领域自适应目标检测

    通过引入统一的基准测试和实施框架 ALDI、公平且现代的培训与评估协议、新的 DAOD 基准数据集 CFC-DAOD 以及 ALDI++ 方法，我们提供了一个关键的重启点用于域自适应物体检测（DAOD）并为未来的研究奠定了坚实的基础。

    Mar, 2024

  • 知识蒸馏用于农作物分割的领域泛化

    本文提出了一种基于知识蒸馏的新方法以增强领域通用性，在精度农业中进行作物分割的应用，旨在解决移动机器人在野外环境中识别和定位作物所需的实时感知问题。通过在一个有多个领域的合成数据集上评估，该方法取得了明显的表现改进。

    Apr, 2023

  • AnimalFormer：基于行为的精准畜牧农场的多模态视觉框架

    我们介绍了一个多模态视觉框架，用于精确畜牧业，利用 GroundingDINO、HQSAM 和 ViTPose 模型的力量。此集成套件可以从视频数据中进行全面的行为分析，无需侵入性动物标记。GroundingDINO 在家畜周围生成准确的包围框，而 HQSAM 在这些框内分割个体动物。ViTPose 估计关键身体点，便于姿势和运动分析。在包括放牧、奔跑、坐立和行走活动的绵羊数据集上进行演示，我们的框架提取了宝贵的洞察力：活动和放牧模式、互动动力学和详细的姿势评估。该框架适用于各个物种和视频分辨率，为活动检测、计数、健康评估和姿势分析领域的非侵入性畜牧监测带来革命。通过基于数据驱动的行为理解，它给予农场管理以动力，并优化动物福利和生产力。

    Jun, 2024

  • 农业物体检测领域自适应中的扩散

    该研究提出了 DODA，一种能够在农业领域生成高质量物体检测数据的数据合成器，通过将布局编码为图像，提高了布局到图像的可控性，从而改善了标签的质量，并使用视觉编码器为扩散模型提供视觉线索，使模型能够在新领域生成数据。在全球小麦头部检测（GWHD）数据集上，采用 DODA 合成的数据提高了目标检测器在与训练数据显著不同的领域中的表现，AP$_{50}$ 提升了 12.74-17.76。

    Mar, 2024

  • 领域感知微调：增强神经网络的适应性

    本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

    Aug, 2023

  • 具有鲁棒性和可解释性的细粒度视觉分类与迁移学习：双车道框架

    通过使用双行道框架 (DCF) 这一自动的最佳训练解决方案搜索框架，本研究填补了缺乏方法来系统地决定最佳训练策略的不足，并证实了 DCF 在精细化视觉分类任务中引导鲁棒且解释性人工智能解决方案发展的潜力。

    May, 2024

  • 半自监督域适应：利用有限标注数据开发小麦穗分割的深度学习模型

    利用深度学习方法，通过半自我监督域适应技术在精确农业领域实现农作物图像的自动化标注，以及在不同环境条件下适应性强的解决方案，以推动先进技术在农业领域的广泛应用。

    May, 2024