Feb, 2024

似然自由推断中的噪声参数分类和广义标签转移

PDF
TL;DR我们提出了一种新的方法用于稳健的不确定性量化，将分类问题视为在干扰参数下的假设检验问题，通过估计分类器在整个干扰参数空间上的接收器操作特性（ROC），我们能够设计在广义标签偏移下不变的截断点，从而有效赋予预训练分类器领域适应能力，并返回有效的预测集合同时保持高度的分类性能。
发现论文，激发创造
  • 当不变表示学习遇到标签漂移：不充分性和理论洞察

    该论文研究了数据集转移理论和不变表示学习算法，提出了广义标签转移（GLS）理论，并通过推导信息量化的一般化界限和基于贝叶斯观点证明了 GLS 学习器与最优目标模型的足够接近性；同时提出了基于内核嵌入的校正算法（KECA），通过最小化泛化误差和成功的知识转移实现了对数据集转移的校正，证明了 GLS 校正处理数据集转移的充分性和必要性。

    Jun, 2024

  • 分类中异方差标签噪声的 Logistic-Normal 似然函数

    本研究提出了一种简单的概率建模方法，将分类问题中异方差标签误差的考虑引入到损失函数中，以达到减少过拟合，提高鲁棒性的效果。

    Apr, 2023

  • 有条件分布匹配和广义标签偏移的领域自适应

    本文提出了广义标签偏移（$GLS$）的假设来提高对不匹配标签分布的鲁棒性，在此基础上，提供了任何分类器的转移性能的理论保证，并且设计了估算相对类权重以及适当的样本重新加权的必要和充分条件。我们修改三个现有的域自适应 (DA) 算法（JAN，DANN 和 CDAN），评估它们在标准和人工 DA 任务上的性能，并且实验结果表明，在存在大的标签分布不匹配的情况下，我们算法的性能表现得到了显著的提高。

    Mar, 2020

  • 通过免费标签提高鲁棒性的干扰标签监督

    本研究提出了一种 “Nuisance-label Supervision (NLS)” 模型，旨在使模型更加稳健来应对干扰因素变化，数据实验表明，通过显式监督模型，可以使所提取的特征不再依赖于干扰因素，并通过数据增强和合成数据等方式获得干扰标签，对于图像破损和外观改变的动作识别具有一致的改善稳健性能。

    Oct, 2021

  • 临床自然语言处理中的半监督学习自动数据标注中的分歧建模

    本研究探讨预测模型在医疗健康领域中的应用，特别是自监督模式下标记数据的超拟合问题，发现高斯过程能够以较高的预测准确性评估指标和平均最大预测置信水平，对 3 种不确定性标签进行风险评估并保持强大的预测力。

    May, 2022

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020

  • 使用局部极大似然估计的条件类别噪声的假设检验

    在监督学习中，评估标签质量成为一个尚未解决的研究问题。本文提出了一种替代路径，使用非参数逻辑回归模型构建基于污染标签噪声的假设检验，相比传统的参数方法具有更强的适应性和较少的模型设定问题。

    Dec, 2023

  • 对比学习用于无似然推断

    该研究探讨了两种不需要概率似然函数的方法来处理具有随机模拟器模型的参数推断问题，分别是通过分类器学习隐含的密度比例和构建条件分布进行参数后验的灵活神经密度估计。研究表明这两种方法可以共同运行于一种对比学习策略下，并详细解释了它们如何运行和相互比较。

    Feb, 2020

  • 正交统计学习

    研究提出了一种基于样本拆分的元算法，该算法的输入为目标参数和干扰参数的估计算法，并且在 “Neyman 正交性” 条件下，通过这个元算法可以在更弱的假设条件下，提供干扰成分存在时的额外风险保证，同时考虑到干扰参数估计误差对于超额风险边界的影响仅仅是二阶的，具有很好的灵活性。

    Jan, 2019

  • RATT: 利用未标记数据保证泛化

    本文介绍了一种利用无标签数据生成泛化界限的方法，并证明了其对 0-1 经验风险最小化和梯度下降训练的线性分类器是有效的。实证表明，该界限提供的泛化保证可以在计算机视觉和自然语言处理任务中跟踪实际表现。

    May, 2021