ICLRNov, 2015

多样性网络：利用行列式点过程进行神经网络压缩

PDF
TL;DR本文介绍了一种名为 Divnet 的灵活技术，用于学习具有不同神经元的网络，并通过确定性点过程（DPP）和神经元融合的方法来捕获神经元的多样性和实现网络架构的自动优化和缩小，该方法针对剪枝神经网络问题显示优越性。
divnetneuronal diversitydeterminantal point processregularizationpruning neural networks
发现论文，激发创造
  • 使用行列式点过程学习不同的生成

    本文探讨了使用 Determinantal Point Process (DPP) 的无监督惩罚损失方法以及内嵌在敌对训练和变分自编码器中的生成 DPP 方法。这种方法可以生成更高质量的样本而且更具多样性，同时不会改变原始的训练方案。

    Nov, 2018

  • 使用变分德特密度点过程实现稀疏化的多样性

    提出了一个基于行列式点加工（DPP）的新颖多样的特征选择方法，用于生物信息学中的癌症基因预测和空间统计，显著提高了特征多样性，不降低准确性。

    Nov, 2014

  • 小批量差异化的行列式点过程

    本文提出了一种基于 Determinantal Point Process（DPP）的新型非均匀采样方案，用于在 mini-batch SGD 优化中实现数据的多样性和平衡，成为了 Diversified Mini-Batch SGD (DM-SGD)。实验结果表明，该方法在无监督和监督学习中均能产生更具解释性和多样性的特征，并提高分类准确性。

    May, 2017

  • RD-DPP: 速率失真理论 meets 确定性点过程以实现多样化学习数据样本

    该研究提出了一种基于速率失真理论的选择具有任务导向的多级分类数据样本的新方法，称为 RD-DPP，可用于评估数据样本的情境感知多样性。此外，该研究观察到了基于确定性点过程的数据选择在样本累积过程中存在相变现象，从而设计出一种双峰方法以获得更大的多样性收益。

    Apr, 2023

  • 学习行列式点过程

    该论文提出了一种基于特征的条件 DPP 模型的参数化形式，利用其进行了可行的、凸优化的学习，最终应用于文本摘要任务并获得了最先进的结果。

    Feb, 2012

  • 学习确定性点过程核的参数

    该研究使用贝叶斯方法学习确定性点过程的内核参数，解决了非凸似然函数的难题，应用于神经病理学和图像多样性的研究中。

    Feb, 2014

  • 大边界行列式点过程

    本文探讨了如何通过重新参数化核矩阵，并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数（核矩阵），以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。

    Nov, 2014

  • 机器学习中的行列式点过程

    本文介绍了基于行列式点过程（DPPs）的概率模型，包括算法的细节，以及该方法在机器学习中的应用，例如生成多样化的搜索结果和摘要，分析图像中的非重叠人类姿势等。

    Jul, 2012

  • 基于行列式点过程的神经网络采样器在集成强化学习中的应用

    提出了一种基于 Determinantal Point Process 的神经网络采样器 DNS，可在强化学习算法中采用子集的方式减少训练 Neural Networks 所需的时间和计算成本，MuJoCo 环境上对 DNS 的实验表明在使用不到 50% 的运算资源（FLOPS）的情况下，DNS 的 REDQ 性能高于 REDQ 基线模型的平均累积奖励。

    Jan, 2022

  • 具有行列式点过程的自然隐私推荐

    通过引入随机机制并使模型符合差分隐私约束，我们讨论了 Determinantal Point Processes（DPPs）的修改，并推导了使其满足 ε- 差分隐私所需的修改和对其敏感性的分析。最后，我们提出了使 DPPs 在隐私 - 效用平衡方面更高效的简单替代方案。

    May, 2024