结构修剪已成为生成更高效模型的一种有前景的方法。然而，由于缺乏标准化的基准和度量标准，该领域的进展尚不完全理解。为了填补这一空白，我们提出了第一个全面的基准测试，称为 PruningBench，用于结构修剪。PruningBench 具有以下三个特点：1）PruningBench 采用一个统一和一致的框架，评估各种结构修剪技术的有效性；2）PruningBench 系统地评估了 16 种现有的修剪方法，涵盖了各种模型（如 CNN 和 ViTs）和任务（如分类和检测）；3）PruningBench 提供了易于实现的接口，以促进未来修剪方法的实施，并使后续的研究人员将他们的工作纳入我们的排行榜。我们提供了一个在线修剪平台，用于定制修剪任务并重现本文中的所有结果。代码将公开发布。

Jun, 2024

我们提出了一种新颖的一次性多个 ASR 系统联合压缩和量化方法，使用一个全能模型。一个单独的压缩周期允许同时构建具有不同编码器深度、宽度和量化精度设置的多个嵌套系统，而无需单独训练和存储个别目标系统。实验证明，与等复杂度的单独训练系统相比，一个全能模型中压缩的多个 ASR 系统的字错误率（WER）相当，或更低至 1.01％绝对值（6.98％相对值）。整体系统压缩和训练时间加速了 3.4 倍。在基线 Switchboard-300hr Conformer 和 LibriSpeech-100hr fine-tuned wav2vec2.0 模型上，最大模型大小压缩比分别达到了 12.8 倍和 3.93 倍，没有引起统计上显著的 WER 增加。

Jun, 2024

本研究旨在解决使用神经模型进行少样本学习中，纬度预测的挑战，并提出了一种聚合多个模板的广角软提示方法，通过使用预训练语言模型选择相关度最高的 k 个模板，并使用软提示来指导预训练语言模型，最终将多个模板的结果通过投票机制进行聚合。实验证明，该方法在各项指标上明显优于其他最新方法和公共数据集。

Jun, 2024

在本文中，我们研究多信度最佳臂识别问题，通过提出一种以梯度为基础的方法，我们找到了具有渐近最优成本复杂度的解决方案，并针对每个臂还提出了最优保真度的概念。

Jun, 2024

大型语言模型（LLMs）由于其庞大的规模而面临部署挑战。修剪方法通过去除权重的子集来加速，但其中许多需要重新训练，这是昂贵且计算需求高的。最近，提出了后训练修剪方法引入了新的度量标准，使得可以无需重新训练就能进行 LLMs 的修剪。然而，这些度量标准需要人工专家的参与和繁琐的试错。为了高效地确定优越的修剪度量标准，我们开发了一个自动框架来使用遗传编程搜索符号修剪度量标准。具体来说，我们设计了一个细致的搜索空间，涵盖现有的修剪度量标准，以发现潜在的符号修剪度量标准。我们提出了一种对立运算简化策略，以增加种群的多样性。通过这种方式，Pruner-Zero 允许自动生成符号修剪度量标准。基于搜索结果，我们探索了修剪度量标准与修剪后性能之间的相关性，并总结了一些原则。在语言建模和零样本任务的 LLaMA 和 LLaMA-2 上的大量实验表明，我们的 Pruner-Zero 的性能优于 SOTA 的后训练修剪方法。代码地址：https://github.com/pprp/Pruner-Zero。

Jun, 2024

我们提出了 GenS，一个端到端的通用神经表面重建模型，可以通过结合有符号距离函数（SDF）和可微体渲染，将多视图图像无需 3D 监督进行表面重建。与现有解决方案相比，我们的表示更强大，能够恢复高频细节并同时保持全局平滑性。同时，我们引入多尺度特征度量一致性，以在更具区分性的多尺度特征空间中施加多视图一致性，从而抵抗光度一致性的失效。我们还设计了一种视角对比损失，通过将密集输入中的几何先验精炼到稀疏输入中，强制模型对少视角覆盖的区域具有鲁棒性。在流行的基准测试上进行的大量实验证明，我们的模型能够很好地推广到新场景，并且胜过现有的最先进方法，即使那些使用地面真实深度监督的方法。

Jun, 2024

提出了一种新的神经模型来解决现有动态主题模型中的重复主题和不相关主题问题，并通过引入新的进化跟踪对比学习方法和不相关词排除方法来提高主题进化的质量和多样性。

May, 2024

本研究提出了一种基于数据无关的模块感知剪枝方法（DIMAP），用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献，并且引入一种基于权重的新型度量，在不依赖于输入图像的情况下消除了对图块合并过程的依赖性。该方法在 ImageNet-1k 分类上以及不同尺寸的 Swin Transformers 上验证了其有效性和优势，在去除了 Swin-B 52.5％的 FLOPs 和 52.7％的参数时，仅降低了 0.07％的 Top-5 准确率；而在减少 Swin-S 33.2％的 FLOPs 和 33.2％的参数时，甚至可以实现比原模型更高的 0.8％相对 Top-5 准确率。

Apr, 2024

使用组合神经模型全自动地表示纹理，通过编辑高斯文本在潜在空间中修改纹理，实现了纹理分析、建模和编辑的新技术，拓展了可控纹理的视觉吸引力图像的创作可能性。

Apr, 2024

我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

Apr, 2024