May, 2017

小批量差异化的行列式点过程

PDF
TL;DR本文提出了一种基于 Determinantal Point Process（DPP）的新型非均匀采样方案，用于在 mini-batch SGD 优化中实现数据的多样性和平衡，成为了 Diversified Mini-Batch SGD (DM-SGD)。实验结果表明，该方法在无监督和监督学习中均能产生更具解释性和多样性的特征，并提高分类准确性。
stochastic gradient descentmini-batch diversificationdeterminantal point processdata balancingdiversified mini-batch sgd
发现论文，激发创造
  • 利用斥力点过程实现主动小批量抽样

    本文探讨了在随机梯度下降中选择 mini-batch 的方法，证明了使用斥力采样来选择 mini-batch 可以降低梯度估计的方差，提出并研究实现 Poisson Disk 采样的可行性，并通过实验证明了这种方法在模型性能和收敛速度方面都要优于标准随机梯度下降。

    Apr, 2018

  • 使用变分德特密度点过程实现稀疏化的多样性

    提出了一个基于行列式点加工（DPP）的新颖多样的特征选择方法，用于生物信息学中的癌症基因预测和空间统计，显著提高了特征多样性，不降低准确性。

    Nov, 2014

  • 基于行列式点过程的批量高斯过程贝叶斯优化

    提出了一种使用决策点过程 (DPPs) 对批处理进行建模的新方法，使得机器学习中的贝叶斯优化，特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明，基于 DPP 采样的方法优于现有技术。

    Nov, 2016

  • 机器学习中的行列式点过程

    本文介绍了基于行列式点过程（DPPs）的概率模型，包括算法的细节，以及该方法在机器学习中的应用，例如生成多样化的搜索结果和摘要，分析图像中的非重叠人类姿势等。

    Jul, 2012

  • 具有行列式点过程的自然隐私推荐

    通过引入随机机制并使模型符合差分隐私约束，我们讨论了 Determinantal Point Processes（DPPs）的修改，并推导了使其满足 ε- 差分隐私所需的修改和对其敏感性的分析。最后，我们提出了使 DPPs 在隐私 - 效用平衡方面更高效的简单替代方案。

    May, 2024

  • RD-DPP: 速率失真理论 meets 确定性点过程以实现多样化学习数据样本

    该研究提出了一种基于速率失真理论的选择具有任务导向的多级分类数据样本的新方法，称为 RD-DPP，可用于评估数据样本的情境感知多样性。此外，该研究观察到了基于确定性点过程的数据选择在样本累积过程中存在相变现象，从而设计出一种双峰方法以获得更大的多样性收益。

    Apr, 2023

  • 学习行列式点过程

    该论文提出了一种基于特征的条件 DPP 模型的参数化形式，利用其进行了可行的、凸优化的学习，最终应用于文本摘要任务并获得了最先进的结果。

    Feb, 2012

  • 确定性点过程的精确采样

    本文介绍了行列式点过程 (Determinantal Point Processes, DPPs) 以及其在机器学习领域中的应用，比如主动学习、贝叶斯优化、强化学习和图形模型中的边缘化。同时，文章也指出了为许多与机器学习相关的设置提供了在连续域上从 DPPs 中精确采样的方法。

    Sep, 2016

  • 大边界行列式点过程

    本文探讨了如何通过重新参数化核矩阵，并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数（核矩阵），以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。

    Nov, 2014

  • 使用行列式点过程学习不同的生成

    本文探讨了使用 Determinantal Point Process (DPP) 的无监督惩罚损失方法以及内嵌在敌对训练和变分自编码器中的生成 DPP 方法。这种方法可以生成更高质量的样本而且更具多样性，同时不会改变原始的训练方案。

    Nov, 2018