ssl | BriefGPT - AI 论文速递

关键词ssl

搜索结果 - 57

SimSAM：基于简化孪生表示的语义亲和矩阵用于无监督图像分割
通过自我监督学习（SSL）的最新发展，我们介绍了一种计算语义亲和矩阵的新框架 SIMSAM，该框架对于无监督图像分割非常重要。
PDF20 days ago
Retro: 用于轻量级模型的自监督学习中的高效嵌入蒸馏的教师投影头的重复利用
使用自监督学习 (SSL) 和对比约束以及一致性约束，从大量无标签数据中提取有效表示，并通过重用教师的投影头来改进轻量级模型，实验证明在所有轻量级模型上取得了显著的改进
PDFa month ago
自我监督学习提高深度学习对 CT 图像差异的肺肿瘤分割的鲁棒性
自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的 CT 图像差异具有更高的适
PDF2 months ago
开放式实现与研究最佳音质要求用于语音处理
自学习（SSL）在多种语音任务中被证明是有用的。然而，这些方法通常在数据、内存和计算资源方面要求非常高。BERT 基于随机投影量化器的语音预训练 (BEST-RQ) 是一种 SSL 方法，在自动语音识别（ASR）上表现出色，同时比其他 SS
PDF2 months ago
CVPR自适应自我监督学习在计算病理学中的应用
对自我监督学习算法在计算病理学中的适应性进行了研究，包括提出了针对病理图像特点的增强方法、正则化函数和位置编码，并通过多个基准测试评估了这些改进对算法性能的影响。
PDF2 months ago
提高自监督学习的算法、模型和数据效率
通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同
PDF2 months ago
基于空间环境的自监督学习用于手写文本识别
手写文本识别 (HTR) 是计算机视觉中一个相关的问题，由于其固有的可变性和对其解释所需的丰富的环境依赖性，其面临独特的挑战。本文研究了一种名为空间上下文自我监督学习（Spatial Context-based SSL）的方法，并探索了该方
PDF2 months ago
我们能否摆脱自我监督学习中的强数据增强？
自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我
PDF3 months ago
对 SSL 后门攻击的一种极简防御方法
自我监督学习（SSL）已经成为应对无人监督数据环境的一种强大范例。然而，最近的研究表明 SSL 容易受到后门攻击的威胁，控制模型以适应攻击者目的。本文引入一种基于频率的新型后门攻击：CTRL，并提出了两种对抗 SSL 中基于频率攻击的防御策
PDF3 months ago
轨迹规范化增强自监督几何表征
自我监督学习在几何任务中的应用相对较少，本研究提出了一种评估自我监督几何表示方法的新姿态估计基准，通过在无语义或姿态标签的情况下训练，并在语义和几何下游任务上取得熟练度来研究强化自我监督几何表示方法，结果表明利用中间层表示可以提高姿态估计性
PDF3 months ago
InterLUDE：标记数据与未标记数据之间的交互以增强半监督学习
本研究提出了一种新的半监督学习方法 InterLUDE，通过嵌入融合和一种新的损失函数（基于一致性正则化原则），在标记和未标记数据之间实现相互作用，以提高 SSL 图像分类的性能。实验结果表明，InterLUDE 在标准闭集 SSL 基准测
PDF4 months ago
增强方法与算法：自监督学习中的有效途径
我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以
PDF4 months ago
元综合正则化的自监督表示学习
自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优
PDF4 months ago
ExGRG: 显式生成关系图用于自监督表示学习
自我监督学习已成为一种强大的技术，通过利用未标记数据中的嵌入信号而不依赖昂贵的注释标签来预训练深度学习模型。本文介绍了一种新的非对比自我监督学习方法，以显式生成组合关系图（ExGRG）来克服图结构数据的语义改变和反直觉性增强的挑战，并展示其
PDF5 months ago
ICLR自监督学习中的记忆提高了下游泛化
我们提出了 SSLMem，一个用于在自监督学习中定义记忆化的框架，通过对数据点及其增强视图返回的编码器之间表示的对齐差异进行比较，揭示了大规模数据集和强增强的自监督学习中存在高度记忆化的数据点，并且这种记忆化对于编码器在不同下游任务中实现更
PDF5 months ago
通过解耦优化进行大规模点云语义分割的类别不平衡半监督学习
我们介绍了一种新的解耦优化框架，通过交替优化方式解决了现有基于半监督学习的方法中存在的严重训练偏差问题，主要是由于类别不平衡和点云数据的长尾分布导致了尾部类别分割的偏置预测。
PDF6 months ago
AAAI软标签选择的扩张与收缩：半监督细粒度学习
基于类别迁移跟踪的带有置信度感知聚类的软标签选择方法提高了半监督学习中细粒度视觉分类的性能。
PDF6 months ago
学习胸部放射学的解剖一致嵌入
本文针对医学图像分析引入了一种新的自监督学习方法 PEAC（解剖一致性的图块嵌入），通过稳定的基于网格的匹配学习全局和局部一致性，并广泛证明了 PEAC 相比现有最先进的完全 / 自监督方法在性能上明显更好，而且能够捕捉同一患者和不同性别、
PDF7 months ago
FlatMatch：利用交叉锐度连接标注数据和无标签数据进行半监督学习
本文提出了 FlatMatch 方法，通过最小化交叉尖锐度度量来保持两个数据集的一致学习性能，增加标记数据上的经验风险以获得一种最坏模型，然后利用未标记数据的丰富性惩罚最坏模型与原始模型之间的预测差异，从而使学习方向有利于未标记数据的泛化，
PDF8 months ago
FroSSL: 自监督学习的 Frobenius 范数最小化
自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表
PDF9 months ago