May, 2023

可扩展的最优边缘分布机器

PDF
TL;DR本文提出的可扩展 ODM 方法，在拥有非线性内核的情况下，引入了分布感知分区方法以使得局部训练集更容易逐渐逼近全局最优解，并在使用线性内核时，利用了通信高效的 SVRG 算法来进一步加速训练进程。大量实验证明，该提出的方法具有高度的计算效率，几乎不会影响泛化性能。
optimal margin distribution machinemargin theoryscalablekernel methodscomputation time
发现论文，激发创造
  • 最优边际分布机器

    提出了一种名为 ODM 的新方法，旨在通过优化边际分布来实现更好的普适性能，是一种可以应用在 SVM 的任何地方的一般学习方法。该方法利用边际平均值和方差来表征边际分布，该方法的优越性在理论和实践中均得到验证。

    Apr, 2016

  • 大间距分布式机器

    本文介绍了基于边缘分布优化的大边缘分布机（Large margin Distribution Machine，LDM）学习算法，提高了支持向量机算法的泛化性能，该方法通过边缘分布的一阶和二阶统计量，即边缘均值和方差来表征模型，且其在理论和实验上的优越性得到了证明。

    Nov, 2013

  • 高性能核机器：隐式分布式优化和随机化

    本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。

    Sep, 2014

  • 学习可推广到分布外的模块化结构

    本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

    Aug, 2022

  • 简而优：通过分布边界增强序嵌入的泛化能力

    提出了一种基于分布式边际学习（DMOE）的序数嵌入技术，用于解决缺乏训练样本时的序数嵌入问题，该方法避免了直接最大化边际均值和最小化边际方差，从而提高了整体的泛化性能。

    Dec, 2018

  • 基于信息论的超出分布通用性的框架

    在机器学习中，我们研究了离群分布的泛化问题，并提出了一个提供信息论泛化边界的通用框架，该框架自由地插值在积分概率度量和 f - 分布之间，并且自然地恢复了一些已知结果（包括 Wasserstein 和 KL 边界），同时产生了新的泛化边界。此外，我们还展示了该框架具有最佳传输解释。在两个具体的例子中评估时，所提出的边界要么在某些情况下严格改进了现有边界，要么恢复了现有离群分布的最佳边界。

    Mar, 2024

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 多分布学习的分布相关速率

    为了应对敏感机器学习应用中的不确定性建模需求，分布鲁棒优化（DRO）的设置在各种任务中寻求统一的良好性能。最近的多分布学习（MDL）框架以与环境的动态互动的方式解决了这一目标，在该框架中，学习者可以对每个目标分布进行采样访问。借鉴了纯探索多臂赌博机领域的观点，我们在 MDL 体制下提供了依赖于分布的保证，并且在与现有的分布无关分析相比，这种保证随着次优性差距的缩小而产生了优秀的样本大小依赖性。我们研究了两种非自适应策略：均匀探索和非均匀探索，并使用经验过程理论中的新工具提供了非渐进性后悔上界。此外，我们设计了一种自适应乐观算法 LCB-DR，展示了对差距的增强依赖性，类似于多臂赌博机文献中均匀分配和乐观分配之间的对比。

    Dec, 2023