Sep, 2022

在噪声存在的情况下分析 Angluin 的 L * 算法的鲁棒性

PDF
TL;DR通过利用随机性来降低噪音、生成 DFA，主要应用于有限状态机，可以通过学习算法来减少噪音并恢复原始 DFA，但在结构化噪音下表现不佳，并且随机性生成的系统几乎肯定具有非可递归枚举语言。
l* algorithmpac learning algorithmfinite automatonnoise reductionrandomness
发现论文，激发创造
  • Langevin 算法在嘈杂高维推断中的奇妙与陷阱

    该研究针对噪声高维推理问题，通过对比 Langevin 算法和 AMP 算法的表现，发现 Langevin 算法的阈值不如 AMP 算法，并猜测这是由于该参数区域中存在残留玻璃态，最后还介绍了一种使用 Langevin 算法的景观退火协议，可以接近 AMP 的性能。

    Dec, 2018

  • 贝叶斯深度学习的加速线性化拉普拉斯近似

    通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系，以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现，具有可靠的理论保证，并在规模性和性能方面表现出许多优点。

    Oct, 2022

  • 兰格万去学习：机器去学习的噪音梯度下降的新视角

    基于噪声梯度下降的兰格文反训练为近似反训练问题提供隐私保证，将 DP 学习过程与隐私认证的反训练过程统一，具有多种算法优势，包括非凸问题的近似认证的反训练、与重新训练相比的复杂性节约、用于多个反训练请求的顺序和批量反训练。通过在基准数据集上进行实验验证了兰格文反训练的实用性和隐私 - 效用 - 复杂性的权衡，并展示了其相对于基于梯度下降加输出扰动的近似反训练的优越性。

    Jan, 2024

  • 非凸优化及非线性约束问题的不精确增广 Lagrangian 框架

    本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

    Jun, 2019

  • 一个自适应增广拉格朗日方法用于训练具有物理约束和平等约束的人工神经网络

    采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

    Jun, 2023

  • Metropolis-adjusted Langevin 算法的非凸采样

    本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

    Feb, 2019

  • 贝叶斯优化中线性 Laplace 的优点与缺陷

    本文研究了线性化 - Laplace 近似在贝叶斯优化中的应用，探究了它在序列决策问题上的效用和灵活性，同时强调了可能出现的问题和局限性。

    Apr, 2023

  • 近端马尔可夫链蒙特卡罗算法

    该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA)，利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本，可应用于高维、不连续可微分的密度分布，在图像处理和机器学习领域有重要应用价值。

    Jun, 2013

  • 利用标签检索增强扩散模型从含噪标签中学习

    本文从生成模型的角度重构标签噪声问题，提出了 LRA 扩充扩散模型来处理噪声标签。经过广泛的实验验证，我们的模型在所有标准实际基准数据集上均取得了新的最优结果，在许多情况下，通过结合来自强大的 CLIP 模型的条件信息，我们的方法可以将当前的最优精度提高 10-20 个绝对点。

    May, 2023

  • 噪声容忍和差分隐私的统计主动学习算法

    提出一种基于统计学习框架的主动学习算法，能够高效地处理随机分类噪声和差分隐私，且可将其转换为能容忍分类噪声的主动学习算法，同时也实现了用指数级别的误差提高标签节约的差分隐私主动学习算法.

    Jul, 2013