Mar, 2024

监督学习问题的几何性质和稳定性

PDF
TL;DR我们引入了一种称为风险距离（Risk distance）的监督学习问题之间的距离概念，该概念能够促进稳定性结果；通过限定这些修改可以如何改变给定问题，我们可以量化采样偏差、噪声、有限数据和近似等问题的严重性。通过建立距离，我们探索了产生的监督学习问题空间的几何特征，提供了明确的测地线，并证明了分类问题集合在更大类别的问题中是稠密的。我们还提供了两个 Risk 距离的变种：一个在问题的预测者上加入指定权重的变种，另一个对问题的风险景观更为敏感。
发现论文，激发创造
  • 质量传输正则化

    本文提出了使用分布式鲁邦优化的思想来作为正则化技术以及对现有技术提供新的概率解释。通过选择半径，可以保证最坏情况下的预期损失提供了对测试数据的上限置信度，从而提供新的泛化界限。

    Oct, 2017

  • 通过最优传输计算几何数据集之间的距离

    本文提出了一种基于最优传输理论的数据集距离度量方法，不依赖于具体模型参数及训练数据，能够更好地比较数据集的相似度，与转移学习难度具有很好的相关性。

    Feb, 2020

  • 线性距离度量学习

    本文提出了一种基于连续凸损失优化的简单优雅方法，用于线性距离度量学习，并针对不同的噪声模型推导了相应的损失函数。研究结果表明，即使数据存在噪声，只要样本充足就可以学习到地面事实线性度量，并提供相应的样本复杂度限制。此外，我们还提出了一种有效地将学习模型截断为低秩模型的方法，该方法可证明在损失函数和参数方面都能保持准确性，这是该领域首次出现这种结果。实验结果表明了理论结果的正确性。

    Jun, 2023

  • 针对测试时攻击与分布偏移的可靠学习

    本文讨论机器学习算法在环境未完全准确的情况下的应用，尤其是面对对抗攻击和分布变化的情况下，引入新的鲁棒性可靠性保证，并提供优秀的学习方案，分析了可靠性区域，同时分别分析了近似对数凹分布和平滑概率分布下的线性分类器和光滑边界分类器的可靠性区域中可靠性区域的概率质量上界。

    Apr, 2023

  • 基于几何洞见的隐式生成模型

    该研究探讨了几个度量数据分布与隐式模型分布差异的标准，发现这些度量在概率测度空间中引入了不同的几何特性，特别是当参数生成器具有非凸参数化时，$1$-Wasserstein 距离能够实现惊人的近似全局收敛保证。

    Dec, 2017

  • 分布偏移下的稳定对抗学习

    本文提出了一种 Stable Adversarial Learning（SAL）算法，该算法通过利用异构数据源构建更实用的不确定性集合，并针对与目标之间的相关性稳定性进行差异化的强鲁棒性优化，在随机梯度优化的情况下证明了可行性和提供了性能保证。该算法的实证研究在模拟和实际数据集上验证了其总体表现较好的有效性。

    Jun, 2020

  • 分布式特征下的监督学习

    本研究探讨了在大规模数据集和大维特征空间场景下的学习问题，通过考虑网络中代理人传播的特征信息，并提出了一种新颖的动态扩散构造、管道策略和方差减少技术相结合的分布式学习算法，能够实现在原始域中的线性收敛和全局最小值解。

    May, 2018

  • 使用 Wasserstein Loss 进行学习

    本文提出了一个基于 Wasserstein 距离的多标签学习损失函数，基于概率度量体提供了一种自然的概念。该算法可以有效鼓励模型在输出空间中使用所选度量的平滑性，并用 Yahoo Flickr Creative Commons 数据集上的标签预测问题验证了性能。

    Jun, 2015

  • 点对点 ROC 曲线优化的监督相似性学习概率理论

    该论文从交叉匹配角度分析了相似性学习，提出了一种基于 ROC 优化的点级优化标准，通过一种概率框架对此进行了深入研究，给出了基于 U - 统计的约束优化表达式，推导出相应的普适性学习速率以及在数据分布噪声假设下更快速的学习速率，同时考虑了采样近似近似的效果，同时通过量化实验得到了与理论相称的实验结果。

    Jul, 2018

  • 高斯混合模型空间中的 Wasserstein 型距离

    此研究介绍了一种基于 Wasserstein 距离的方法，用于高维数问题中的 Gaussian 混合模型的优化问题，并讨论了它的性质和在图像处理中的应用。

    Jul, 2019