self-supervised vision transformers | BriefGPT

关键词self-supervised vision transformers

搜索结果 - 11

LSPT: 长期空间提示调整用于视觉表示学习
长期空间提示调整 (LSPT) 是一种革命性的视觉表示学习方法，通过引入长期的门控提示，巧妙地结合了时间编码和空间编码，提高了视觉类别的区分和识别能力，同时在 5 个 FGVC 和 19 个 VTAB-1K 基准测试中展示了优于其他方法的性
PDF4 months ago
AAAI自我监督视觉变换器是不完善标签的高效分割学习器
通过冻结自监督视觉变换器（SSVT）主干并训练轻量级分割头，我们展示了一种成本效益的语义分割方法。通过利用不完美的标签，我们的方法提高了对标签缺陷的鲁棒性，对于各种注释类型，包括涂鸦、点层和图像层标签，在现有方法上展现了显著的性能改进。这项
PDF5 months ago
分析自监督视觉变压器的局部表征
自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更
PDF6 months ago
DiPS: 自监督变换器鉴别性伪标签采样用于弱监督目标定位
引入了判别伪标签采样（DiPS）来利用无监督模型生成的类别无关地图进行弱监督目标定位（WSOL），并设计了基于 Transformer 的 WSOL 模型，使用 DiPS 生成的伪标签进行分类和定位任务训练，实验结果表明该架构与 Trans
PDF9 months ago
光流提升无监督定位和分割
无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。
PDFa year ago
读取、查看和检测：从图像 - 标题对中标注边界框
本文提出一种使用图像标题对来进行弱监督的目标检测和短语定位的方法，并利用视觉语言（VL）模型和自监督视觉变压器（ViTs）进行实验，取得了较好的结果。
PDFa year ago
ICLR自我监督视觉变换器学习了什么？
对比学习和掩模图像建模的比较研究，发现自监督视觉变换器（ViTs）在表示和下游任务性能方面具有不同的属性，可以互补，最简单的协调方法可以帮助利用这些方法的优点。
PDFa year ago
使用自监督视觉 Transformer 进行房地产物业估值
本文提出一种利用自监督视觉转换器的新方法来进行房地产估值，该算法利用了机器学习、计算机视觉和房地产数据训练模型来预测一个给定物业的价值。通过使用房屋内部、外部和街景等定性图像以及卧室数、浴室数、平方英尺、土地面积、物业年龄、犯罪率和邻近便利
PDFa year ago
ICML使用 DINO 训练的 Vision Transformers 中的对抗攻击和防御探索
本研究是关于自监督视觉转换网络 (DINO) 对抗攻击鲁棒性的分析，研究结果发现采用自监督方法学习的特征比监督学习更加鲁棒，并通过 fine-tuning 分类头部实现较好的抵御能力。
PDF2 years ago
RePre：利用重构预训练提高自监督视觉 Transformer 的性能
本文提出了一种基于重构预训练技术 (RePre) 的自监督视觉变压器模型，使用本地特征学习来替代对图像的全局理解，其中重构预训练通过向现有对比性目标添加像素重构分支，使用变压器编码器的多层次特征进行处理，并提供了从低到高语义信息的丰富监督信
PDF2 years ago
ICLR高效自监督视觉 Transformer 模型用于表示学习
本文研究了发展高效的自监督视觉变换器（EsViT）的两种技术，第一，我们通过全面的实证研究显示具有稀疏自我注意力的多阶段架构可以显着减少建模复杂性，但代价是失去捕捉图像区域之间的细粒度对应关系的能力。第二，我们提出了新的预训练任务区域匹配，
PDF3 years ago