Jan, 2024

对分布变化下的无监督准确率估计进行梯度特征化

PDF
TL;DR该研究论文研究了在不同测试环境中无法访问真实测试标签的情况下估计测试准确性的方法，通过使用神经网络的输出或提取特征来建立与真实测试准确性相关的估计分数，实验证明梯度提供的信息可以预测分布变化下的真实测试准确性，并提供了理论方面的洞见。
test accuracyground-truth labelsmachine learning algorithmsinformationgradients
发现论文，激发创造
  • 通过域不变表示估计分布转移下的泛化能力

    本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

    Jul, 2020

  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • 通过置信度最大化和输入变换对分布偏移进行测试时间适应

    该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

    Jun, 2021

  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • (几乎) 通过分歧差异证明分布偏移下的误差界

    本研究通过使用无标签测试数据来推导深度神经网络在分布转移下的误差（几乎）保证上界，并提出了一种理论上合理、在实践中表现更优的 “不一致损失” 用于评估误差保证上界的较紧估计。

    Jun, 2023

  • 探测野外分布移变的梯度重要性

    本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

    Oct, 2021

  • 用梯度作为神经网络不确定性的一种度量方法

    本文提出了一种基于反向传播梯度的神经网络不确定性度量方法，该方法可以有效地检测神经网络模型的不确定性，包括判断模型是否遇到了未知的输入，具有较高的检测准确性。

    Aug, 2020

  • 距离在改善协变量偏移下的性能估计中起作用

    考虑到协变量转移下测试样本与预期训练分布的距离，可以显著提高性能估计，通过引入 “距离检查” 来避免依赖于不可信任的模型输出以进行准确度估计。

    Aug, 2023

  • 非平稳环境下分类问题的自适应迁移学习视角

    我们研究了一个具有非平稳标签转移的半监督分类问题，通过观察一组有标签的数据集和一系列无标签的协变量向量，我们的目标是预测每个协变量向量的相应类别标签，而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界，我们探索了一种基于统计方法的自适应迁移学习的替代方法，并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。

    May, 2024

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020