Oct, 2023

跨特征对比损失：异构数据上的分散式深度学习

PDF
TL;DR本研究提出了一种基于异构数据的去中心化学习新方法，通过利用对比损失上的无数据知识蒸馏来提高性能，并通过大量实验证明了该方法在不同计算机视觉数据集、模型架构和网络拓扑中相比其他现有技术在异构数据的去中心化学习中实现了卓越的性能（测试准确率提升 0.2-4%）。
发现论文，激发创造
  • 多尺度和跨尺度对比学习用于语义分割

    本研究考虑应用监督对比学习提高语义分割中多尺度特征的判别能力，并通过有效的采样过程与跨尺度对比学习方法进一步提高模型性能。

    Mar, 2022

  • 非独立同分布数据下的分散式学习交叉梯度汇聚

    本文提出了一种新型的去中心化学习算法 - Cross-Gradient Aggregation，通过聚合交叉梯度信息来更新模型并在 MNIST 和 CIFAR-10 数据集上进行了测试，结果表明该算法具有良好的效率和学习性能。

    Mar, 2021

  • 在紧凑空间中对齐：异构架构之间的对比知识蒸馏

    基于低频部分的对比知识蒸馏框架能够更好地在异构架构下提取特征表示的共性。通过使用多尺度低通滤波器提取教师和学生模型中间特征的低频部分，并通过对比学习任务优化学生模型的特征区分度，该框架在 ImageNet-1K 和 CIFAR-100 数据集上展现出卓越的性能。

    May, 2024

  • 对比损失的有趣特性

    本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

    Nov, 2020

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 异构对比学习

    本论文提出了一个统一的异构学习框架，通过结合加权无监督对比损失和加权有监督对比损失来解决对比学习中的假阴性对问题，从而模拟多种异构性的数据。实验结果表明，该方法在模拟复杂数据时具有较好的效果和高效性。

    May, 2021

  • 深度神经网络的对比中心损失

    本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

    Jul, 2017

  • 面向数据异构性的分散式学习混合

    该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

    Apr, 2022

  • 突破数据孤岛：多智能体感知来自独立私有源的跨领域学习

    通过引入 Feature Distribution-aware Aggregation (FDA) 框架以缓解多智能体感知中的分布差异，本论文全面探讨了分布差异对现有多智能体感知系统的影响，并通过在公共 OPV2V 和 V2XSet 数据集上进行的大量实验验证了 FDA 在基于点云的 3D 目标检测中的有效性，将其视为现有多智能体感知系统中无价的增强手段。

    Feb, 2024

  • 对比多任务密集预测

    本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

    Jul, 2023