自我注意力蒸馏学习轻量级车道检测卷积神经网络

ICCVAug, 2019

自我注意力蒸馏学习轻量级车道检测卷积神经网络

Learning Lightweight Lane Detection CNNs by Self Attention Distillation

Yuenan Hou, Zheng Ma, Chunxiao Liu, Chen Change Loy

TL;DR本文提出了一种自我注意力蒸馏（SAD）方法来提高车道检测的深度学习模型的性能。这种方法使得模型可以从自身中学习丰富的上下文信息，无需额外监督或标签，从而在三个主要基准中取得了优秀的性能，并且可以轻松地与任何前馈 CNN 集成，而不会增加推断时间。

Abstract

Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals inherent in lane annotations. Without learning from much richer context, these models often fail in challenging scenarios, e.g., severe occlusion, ambiguous lanes, and poor ligh

lane detection deep learning self-attention distillation

发现论文，激发创造

基于标签引导的车道线分割注意力蒸馏

本文提出一种基于标签引导的注意力蒸馏方法（LGAD），用于训练分割网络以更好地捕捉诸如车道标记之类的长程上下文信息。通过将标签结构信息嵌入教师网络中，并利用其注意力图作为学生网络的监督信号，能够显著提高学生网络的训练效果。

Apr, 2023

基于自注意力的上下文感知 3D 物体检测（SA-Det3D）

本研究提出了两种三维物体检测的自我注意力模型，即通过将卷积特征与自我注意力特征相结合，将成对的自我注意力机制纳入最新的基于 BEV、体素和点云检测器，最终在 KITTI 验证集上证明了模型精度的一致提高，同时减少了运算量和计算成本，实现了更好的参数效率和计算效率。

Jan, 2021

综合关注自我蒸馏用于弱监督物体检测

Comprehensive Attention Self-Distillation (CASD) is a new training approach for Weakly Supervised Object Detection (WSOD) that enables consistent object detection across different transformations of the same images by computing comprehensive attention and conducting self-distillation on the WSOD networks.

Oct, 2020

自我监督到蒸馏：长尾视觉识别

本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

Sep, 2021

通过扩展自注意力实现鲁棒车道检测

本文介绍一个名为扩展自注意力 (ESA) 模块的简单却强大的自注意力机制，在车道检测中取得了最先进的结果，并通过在三个流行的车道检测基准测试上的实验结果表明了该方法的鲁棒性。

Feb, 2021

DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

Sep, 2017

深度学习在复杂条件下车道检测和分类中的应用 ——LVLane

介绍了一种基于深度学习方法的端到端车道检测和分类系统，旨在解决在极端光照条件、看不清车道标记和车道标记稀疏等具有挑战性场景下的车道检测问题，并通过深度学习模型的微调和 CNN-based 分类分支的介入来实现车道类型的识别。该系统在 TuSimple dataset、Caltech lane dataset 和自己精心筛选的 LVLane dataset 上进行了实验验证，取得了优秀的检测和分类结果。

Jul, 2023

基于自监督学习框架和遮挡图像建模的新型驾驶员分神行为检测

本文介绍了一种基于自监督学习的用于驾驶员分心检测的新方法，该方法使用遮罩图像建模进行自监督学习，并利用 Swin Transformer 作为编码器以增强性能，最终使用各种数据增广策略加上最佳的随机遮罩策略来加强模型的识别和泛化能力，测试结果表明，该方法的准确率为 99.60％，接近先进的监督学习方法的出色表现。

Jun, 2023

联合自注意力和尺度聚合用于自校准去雨网络

本文提出了一种名为 JDNet 的算法，该算法通过引入多尺度特征、自注意机制和自标定卷积等技术解决单张图像去雨问题，在真实世界和合成数据集上展现出更好去雨效果。

Aug, 2020

SODAWideNet -- 不需 Imagenet 预训练的带注意力扩展的 Wide 编码解码网络中的显著目标检测

提出了一个新的显著目标检测（SOD）模型 —SODAWideNet，它采用从头开始训练的神经网络，通过扩张卷积和自注意力机制等技术实现浅层网络，取得了与最先进模型相媲美的性能。

Nov, 2023