Aug, 2023

DySTreSS: 自监督对比学习中的动态温度缩放

PDF
TL;DR通过研究温度超参数，我们提出了一个基于余弦相似度的温度缩放函数，有效优化特征空间中样本的分布，并通过对余弦相似度空间中的均匀性和容忍度度量进行综合分析，展示了该方法在半监督学习中优于或与对比损失为基础的算法相当的性能，并为对比学习领域的未来研究奠定了基础。
self-supervised contrastive algorithmsinfonce losstemperature hyper-parametercosine similarity-dependent temperature scaling functionssl algorithms
发现论文，激发创造
  • 并非所有的语义都是平等的：自对比学习与自动温度个性化

    本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法，该方法基于数据分布特点，对超参数进行了自动调整，并在实验中表现出优于已有方法的性能。

    May, 2023

  • 自监督对比方法在长尾数据上的温度调度

    本研究分析了一种被广泛应用于自我监督学习中的对比度方法在长尾数据上的表现，发现通过动态调整温度参数可以显著提高学习表示，平衡了实例与组特征的重要性，并且在不增加计算成本的情况下，有助于完善类别的划分。

    Mar, 2023

  • 理解对比损失的行为

    本文研究了无监督对比学习中对比损失的行为特性，发现一种均匀性与相似性之间的权衡关系，通过调节温度参数可以达到学习可分离特征和容错相似样本的效果。

    Dec, 2020

  • SimSC：基于温度学习的语义对应简易框架

    本文提出了一个名为 SimSC 的简单框架，通过在特征骨干基础上进行语义匹配来解决问题。通过设置适当的 softmax 温度，可以缓解过度平滑匹配度分布并改善特征质量，使用学习模块来预测优化温度，该模块与骨干和温度一起在线更新，易于与各种类型的骨干配对以提高准确性。

    May, 2023

  • 双温度有助于对比学习，在没有太多负样本的情况下：走向理解和简化 MoCo

    采用动态词典的对比学习框架在有效利用负样本的同时，实现了对小批量限制 NSS 分离的目标。根据对 MoCo 所实用的 InfoNCE 损失函数进行的分析，通过对动态词典的简化，提出了一种新的对比学习框架 SimMoCo 和 SimCo，并且在实验中验证了其优越性。

    Mar, 2022

  • 基于样式和内容信息的一致性引导温度调整在领域外校准中的应用

    在面对领域转移时，传统的神经网络鲁棒性研究主要关注提高模型准确性，而忽视了可靠的人工智能系统对校准性能的需求。本文提出了一种新的温度调节策略，基于样本一致性在风格和内容上的考量来提高多领域环境下的校准性能，实验证明在各种数据集上，我们的策略在不影响准确性的情况下构建出卓越的校准性能，可以直接应用于各种可信赖的人工智能系统。

    Feb, 2024

  • 温度平衡、逐层权重分析与神经网络训练

    该论文提出了 TempBalance，一种简单而有效的逐层学习率方法，基于 Heavy-Tailed Self-Regularization (HT-SR) 理论，并展示了使用 HT-SR 相关指标来指导模型训练中的温度调度和平衡，从而改善在测试中的性能。实验证明 TempBalance 显著优于普通的 SGD 和经过精心调节的谱范数正则化，同时也超过了一些最先进的优化器和学习率调度器。

    Dec, 2023

  • 知识蒸馏的课程温度

    本文提出了一种名为 CTKD 的简单课程温度知识蒸馏技术，通过动态可学习的温度控制任务难度水平，实现了根据学生学习阶段逐步提高知识蒸馏难度的功能，并在 CIFAR-100，ImageNet-2012 和 MS-COCO 上进行了广泛的实验，证明了这种方法的有效性。

    Nov, 2022

  • 长尾识别的双通道温度缩放校准

    该研究论文提出了一种双分支温度缩放校准模型 (Dual-TS)，同时考虑了不同类别的温度参数的多样性和少数类别中稀有样本的温度参数的非通用性，并提出了新的校准评估度量 Esbin-ECE。实验证明，该模型在传统 ECE 和 Esbin-ECE 指标中均达到了最先进水平。

    Aug, 2023

  • 双重深度网络的自监督学习理解

    提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

    Oct, 2020