- 多尺度表示学习的细粒度城市流量推断
通过自我监督对比学习,UrbanMSR 模型利用多尺度表示的邻近层级和城市层级地理信息,融合多尺度表示以提高细粒度准确性,从而有效地学习跨时空的多尺度信息,并在三个真实数据集上进行了广泛实验证实了该模型的优越性。
- 基于概率的显性球面空间上对比学习
通过将表示嵌入到球形空间中,借鉴 von Mises-Fisher 分布的思想,本研究在自监督对比学习中引入了一种将不确定性纳入考虑的新视角。我们介绍了 vMF 的非规范形式,并利用浓度参数 kappa 作为直接可解释的不确定性度量,不仅提 - ConKeD++ -- 提高视网膜图像配准的描述符学习:对比损失的全面研究
通过对 ConKeD 框架进行改进与扩展,使用自监督对比学习方法在医学图像注册领域取得了最先进的性能,超越了当前最佳方法
- 不良批次:通过代表性批次策划提升图像分类中的自监督学习
通过 Fréchet ResNet Distance (FRD) 使用成对相似度计算来获得稳健的非标注数据表示,从而显著提高自我监督对比学习中用于图像分类任务的线性分类器的准确率。
- REAL:增强表征的无范例类增量学习
提出了一种表示增强的分析学习方法,通过双流基础预训练和表示增强蒸馏过程来改善无示例约束下的渐进学习过程,解决现有基于分析学习的渐进学习中骨干网络冻结导致的表征不足问题。在不同数据集上的实验结果表明,该方法在无示例约束的渐进学习中优于现有方法 - LoDisc: 全局 - 本地辨别特征的自监督细粒度视觉识别学习
通过自监督局部微观对比学习任务,将细微的局部特征学习融合到全局自监督对比学习中,形成一个纯自监督的全局 - 局部微细对比学习框架,从而有效提高了细粒度图像特征表示的品质。
- 应用对比学习和几何展开的 3D-PLI 技术分析人类海马区的区域组织
我们通过将展开方法的最新进展与使用自我监督对比学习方法获得的深度纹理特征相结合,展示了一种新的方法来分析人类海马体在 3D-PLI 中的区域组织,我们的表示中的聚类与海马体亚区的经典描述相对应,证明了所开发的方法的有效性。
- 对比学习中避免特征抑制:学习以前没有学到的内容
以自监督对比学习为基础,提出了一种新颖的多阶段对比学习框架 (MCL),旨在解决特征抑制问题,从而学习到更全面的表示,并能够提升各种下游任务的性能。
- $f$-MICL:理解和推广基于 InfoNCE 的对比学习
该研究论文通过将 KL-based mutual information 推广为 $f$-Mutual Information in Contrastive Learning ($f$-MICL),使用 $f$-divergences,并设 - 通过增强实现权重空间网络的改进泛化
分析神经网络的深度权重空间(Deep Weight Spaces,DWS)中的过拟合问题,针对该问题提出数据增强和自监督对比学习方法,并在分类和自监督学习中证明了其有效性。
- 基于 Transformer 的剪裁对比量化学习用于无监督图像检索
提出了 TransClippedCLR 模型,通过编码图像的全局上下文和局部上下文,使用产品量化生成哈希码,并通过剪切对比学习避免潜在的错误负对,实现了在基准数据集(包括 CIFAR10、NUS-Wide 和 Flickr25K)上无监督图 - 基于上下文的自监督视觉学习:利用环境作为数据来源
环境空间相似性方法(ESS)是一种独特的方法,通过在特定上下文中对自身进行勘探和跟踪,从而使智能体通过对其位置在连贯环境中的追踪来获取技能,ESS 方法在构造对比式学习中提供了历史空间上下文的相似性信号,并通过在模拟的逼真环境中使用图像作为 - 保留沉默特征以实现领域泛化
该研究分析自监督对比学习中对无声特征的压制,证明保留这些特征能够在特定条件下降低预期的测试域风险,并提出了名为 STEP 的简单且有效方法以改善模型的泛化性能。实验结果显示 STEP 在具有显著分布差异的标准领域泛化基准上具有最先进的性能。
- 联合高维计算
本文提出了一种基于超维计算的联邦学习框架 FedHDC,通过与 DNN 不同的自监督对比学习功能提取器 FHDnn,实现了低通信成本、高鲁棒性且收敛速度比 DNN 快 3 倍的联邦学习算法,并成功降低了通信、计算和能源消耗,大大提高了通信效 - AAAITimesURL: 通用时间序列表示学习的自监督对比学习
学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的,本研究提出了一种名为 TimesURL 的自监督框架,利用增强方法、负样本构建和损失设计来学习高质量的通用表示,并在 6 个不同的下游任务中达到最先进的性能。
- 一个适用于心脏磁共振的通用深度学习系统
基于自监督对比学习的深度学习模型通过学习心脏核磁共振扫描伴随的放射学报告的原始文本中的视觉概念,展示了对人类心血管疾病和健康的全面评估;我们的模型在美国的四个大型学术临床机构的数据上训练和评估,并在英国 BioBank 和其他两个公开可用的 - 基于对比编码器预训练的聚类联邦学习用于异种数据
使用自监督对比学习和客户端聚类的方法,提出了基于对比预训练的聚类联合学习方法,以改善联邦学习系统的模型收敛性和性能。
- 通过自监督对比学习利用无标签数据进行三维医学图像分割
我们提出了一种使用两个不同子网络来探索和利用它们之间差异的方法,最终纠正错误的预测结果,通过有针对性的验证训练过程识别不一致预测的区域并进行微调,从而提高上下文信息的利用;此外,为了自适应地调整网络的表示能力并降低预测不确定性,我们采用了自 - 从预文本到目的:批自适应自监督学习
本文研究自我监督对比学习中的两个关键因素:批大小和预设任务,并提出了一种自适应的批融合技术,通过降维和重构批数据,使以前孤立的个体数据能够通过嵌入层在批内进行通信,随着训练进行,自适应地增强自我监督特征编码能力。通过在 ImageNet-1 - 基于检索的时序对比学习的重建
通过检索 - 重建(REBAR)对比学习,我们提出了一种利用卷积交叉注意力体系结构计算两个不同时间序列之间的 REBAR 误差的新方法,并通过验证实验表明,REBAR 误差是相互类别成员资格的预测器,从而为其用作正 / 负标签赋予了合理性。