ECCVMay, 2021

深度分类器一致性：分析学习顺序与图像统计之间的相关性

PDF
TL;DR研究发现，虽然深度分类的建筑变体很多，但是最近的工作发现它们的训练过程存在相似之处，而神经网络不仅收敛到类似的表示，还表现出一种先学习哪些数据实例的经验性一致性。本文提出了一种度量特征分类协议关系的度量标准，并指出，该一致性现象可以映射到研究数据集的核心统计数据。作者经实验证实了这个假说，并应用于 CIFAR10、Pascal、ImageNet 和 KTH-TIPS2 数据集，发现这种一致性似乎与特定的体系结构、训练超参数或标签无关，但是按图像统计排序。
neural networksdeep classificationtraining processclassification agreementimage statistics
发现论文，激发创造
  • 让我们达成共识：神经网络在真实数据集上分享分类顺序

    该研究观察到深度神经网络学习训练数据和测试数据的顺序类似，这种现象不论是在图像分类基准测试还是文本分类基准测试中均有体现，这也反映了神经网络在学习基准数据集时的相互作用并且研究了这种顺序的变化。

    May, 2019

  • ImageNet 分类器是否更好地评估了感知相似度？

    该研究是一个大规模实证研究，旨在评估 ImageNet 分类器在感知相似性方面的表现。结果发现，尽管现代化的网络模型（如 ResNets、EfficientNets 和 Vision Transformers）在 ImageNet 分类方面表现良好，但它们在感知相似性上的表现较差。然而，该研究还发现，仅在 ImageNet 上训练少于 5 个时期的浅层 ResNets 和 ResNets 的感知得分，可与直接在监督人类感知判断上训练的最佳网络相匹配。

    Mar, 2022

  • 揭示潜在模式：研究数据集相似性、性能和泛化

    通过添加一小部分未见图片到训练集中，我们的方法可以降低训练与注释成本，提高监督式深度学习模型的泛化性能，并在动态环境中对未见数据的模型性能提供估计。

    Aug, 2023

  • 深度神经网络的协作学习

    本文介绍协作学习的概念，利用多个网络的分类器头同时在相同的训练数据上进行训练，实现多任务学习和知识蒸馏，并展示其在 CIFAR 和 ImageNet 数据集上的实验证明了协作学习显著降低了泛化误差并增加了对标签噪声的抗干扰能力。两个重要机制：多头分类器共识提供补充信息和共享中间级别表示，既减少了训练计算复杂度，又促进了对共享层的监督。

    May, 2018

  • 基于层级结构的图像嵌入方法用于语义图像检索

    该研究提出了通过将图像映射到类别嵌入中以学习语义鉴别性特征的方法，从而提高图像检索结果的语义一致性。结果显示在 CIFAR-100，NABirds 和 ImageNet 上，学习到的图像嵌入大大提高了图像检索结果的语义一致性。

    Sep, 2018

  • 使用偏序集进行深层无监督相似性学习

    通过局部可靠相似度的估计，不需要监督信号，将样本分组成紧凑的代理类，利用样本到类的局部偏序将类与类连接起来，将相似性学习形式化为局部排序任务，并采取自我监督策略，在 C​NN 中训练样本以一致的方式表示，同时更新类。该无监督方法在详细姿态估计和对象分类上表现出有竞争力的性能。

    Apr, 2017

  • 在线准确性：关于样本内外泛化的强相关性

    通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

    Jul, 2021

  • 标签相似性课程学习

    本文研究课程学习方法，通过改变标签表示来调整损失函数，提高深度学习模型的训练效果，在多个数据集上进行了实验验证。

    Nov, 2019

  • 基础数据集设计对少样本图像分类的影响

    本文系统地研究了训练数据变化对深度图像特征的质量和通用性的影响，并提出了关键实用问题，如在固定注释预算情况下，每类图像数量和类别数量之间的最佳权衡

    Jul, 2020

  • 分类是深度度量学习的强基线

    本文通过评估在多种标准数据集上，对基于分类的参数化训练方法在图像检索领域的有效性和可扩展性进行了分析，进一步提供了样本分类的子采样和数据二值化对实际应用性能的影响。

    Nov, 2018