Dec, 2023

超越准确性：自监督学习表示评估的统计度量和基准

PDF
TL;DR自我监督度量学习通过引入大规模基准测试 SMLB (Statistical Metric Learning Benchmark) 在超过 14M 张图像、20K 个类别和 16K 个分类节点中严格评估鉴别性和泛化性，同时提供了衡量距离统计信息的新型评估指标 overlap 和 aSTD，揭示了监督学习的局限性和 SSL 模型中固有的类别偏差，为未来模型的改进提供了洞察。
self-supervised metric learningdistance functionbenchmarkevaluation metricsrepresentations
发现论文，激发创造
  • 自监督视觉表示学习的扩展和基准测试

    本文探讨了自监督学习的可扩展性，并在大规模数据集上评估了两种流行的自监督学习方法，并发现当前自监督学习方法没有充分利用大规模数据，且无法学习到有效的高层语义表示。同时，介绍了 9 个不同数据集和任务的自监督学习基准测试，必要时开展可比较的评估设置，以实现具有意义的进展。

    May, 2019

  • 超越有监督与无监督：图像表示学习的代表性基准测试与分析

    本文提供一个综合性的比较不同无监督学习方法在图像特征表达方面的表现，使用线性评估、最近邻分类和聚类等多个基准测试来定量比较，分析了不同嵌入度量的均匀性、容忍性和中心内核对齐，并提出了两个新的度量。通过比较分析发现不能以单一流行的方法来代表整个领域的研究，在未来的工作中，应考虑如何利用这些方法的互补性。同时提供了一个统一的框架来定量数据增强不变性，并提醒不同任务需要的增强不变性类型各有差异。

    Jun, 2022

  • 自适应密度判别度量学习

    本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

    Nov, 2015

  • 无监督嵌入质量评估

    研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

    May, 2023

  • PMLB: 机器学习评估和比较的大型基准测试套件

    本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

    Mar, 2017

  • MiniSUPERB：自监督语音模型轻量级基准测试

    本研究提出了 MiniSUPERB，该基准可以有效评估自监督语音模型的能力，同时极大地降低了计算成本。

    May, 2023

  • LeBenchmark: 一个可复现的框架，用于评估自监督语音表示学习

    该论文提出 LeBenchmark，这是一个可重复的框架，用于评估自监督学习从语音到 ASR、语言理解、语音翻译和情感识别的影响，重点关注法语中的语音技术，通过实验表明，SSL 对大多数语音任务都是有益的，但不是所有任务都是。

    Apr, 2021

  • 语音自监督表示基准测试：我们做得对吗？

    本文研究了自我监督学习在语音任务中的应用，特别是其在下游任务中的性能表现和解码器架构的影响。结果发现，使用不同的解码器架构可能会导致表现结果的显著变化，使用局限的解码器也可能会适得其反地增加 SSL 模型的大小。

    Jun, 2023

  • 终身基准：快速进展时代中高效的模型评估

    通过创建生命周期基准测试集，对过度依赖基准测试特异性的算法进行测试，通过引入基于动态规划算法的高效评估框架 Sort & Search（S&S）来降低评估成本，有效减少了计算成本并提供了对 “基准耗尽” 问题的可靠、实用解决方案。

    Feb, 2024

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021