学习神经子集选择任务，如 AI 辅助药物发现中的化合物选择，在不同应用中变得越来越重要。本文通过采用概率观点来解决现有方法在利用神经网络模拟集合函数时忽略超集中所含有的有价值信息的问题，并通过理论研究表明，在目标值在输入集合和子集两者条件下时，将超集的不变足够统计量整合到目标子集中对于有效学习至关重要。基于这些发现，我们提出了一个简单而有效的信息聚合模块，从排列不变的角度合并子集和超集的表示。对多个任务和数据集进行的全面实证评估验证了我们方法相比传统方法的增强有效性，突出了我们提议的策略在实际环境中的实用性和强大性。

Feb, 2024

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

本文探讨神经网络剪枝问题，在对历史文献进行回顾及常见假设进行分析后，提出了一种新型的神经元全剪枝方法，得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外，还发现剪去 40-70% 的神经元实际上对学习表示形式并没有太大的影响。

Jan, 2017

本篇论文研究了弱监督机器学习方法，提出了利用预训练数据表示结合剪枝统计学方法选择高质量弱标签数据的子集，优化了弱监督模型的表现，提升了 19% 的准确率。

Jun, 2022

本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。

Jul, 2021

对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了 ShrinkBench 框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。

Mar, 2020

使用领域知识为 Qm9 数据集的分子离子化能量预测选择高效的训练集和 ML 技术，通过最大化训练集中分子的多样性，提高线性和非线性回归技术（如核方法和图神经网络）的鲁棒性，并基于速率扭曲解释框架的模型不可知解释器来检查图神经网络的预测可靠性。

Jun, 2023

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。

May, 2017

本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

May, 2017