DepthShrinker：一种压缩范例，用于提高紧凑型神经网络在实际硬件中的效率
本文介绍了一种新颖的渐进低秩分解（PLRD）方法，特别适用于大型语言模型的压缩。我们的方法利用预训练模型，然后通过逐步降低秩来将其解压缩为更小的尺寸。这种方法减少了计算开销和能源消耗，因为后续模型是基于原始模型而不需要重新训练。我们详细介绍了 PLRD 的实现方式，策略性地降低了张量秩，从而在模型性能和资源使用之间优化了权衡。通过大量实验展示了 PLRD 的有效性，表明使用 PLRD 方法仅使用 1B 标记训练的模型在性能上与传统训练的模型相当，同时只使用了 0.1％的标记。PLRD 的多功能性通过能够从单个基础模型生成多个模型尺寸，以适应不同的计算和内存预算。我们的研究结果表明，PLRD 可能为 LLM 的高效扩展设定了新的标准，从而在各种平台上使先进的人工智能更加可行。
Jun, 2024
OutlierTune 是一种针对 LLMs 激活的高效后训练量化方法，它通过预执行去量化和对称化两个组件，解决了大规模语言模型的激活量化准确性和硬件效率问题。
Jun, 2024
在深度学习理论中，我们引入了 “局部线性恢复”（LLR）的概念，证明了表达能力较弱的深度神经网络（DNN）可从更少数量的样本中恢复，而且对于两层 tanh 神经网络，我们还证明了这一结果的最优情况。我们的研究为进一步研究过参数化情况下 DNN 的恢复能力奠定了坚实的基础。
Jun, 2024
通过提出一种新的强制对齐工具 FASA，可以从现有的嘈杂的儿童语音数据中提取高质量的对齐儿童语音数据，并显示 FASA 可以比人工标注提高数据质量 13.6 倍。
Jun, 2024
CDQuant 是一个简单且可扩展的替代 GPTQ 的算法，使用坐标下降法来实现高质量的量化权重，通过在 PaLM2 模型系列上进行广泛评估，我们证明 CDQuant 在各种模型规模和量化级别下始终优于 GPTQ。
Jun, 2024
采用 RankAdaptor 的分层动态秩调度方法，有效地微调剪枝的大型语言模型 (LLM)，在不增加训练参数的情况下，进一步减小剪枝模型恢复精度与原始模型之间的性能差距。
Jun, 2024
本研究提出了使用多模态文本图片数据集预测日本动漫热门度的方法，通过使用从互联网中获取的开源数据构建这一数据集，利用基于 GPT-2 和 ResNet-50 的深度神经网络模型，研究多模态文本图片输入与热门度之间的相关性，发现数据集的相关优势和弱点。通过使用均方误差（MSE）度量模型的准确性，当考虑所有输入和完整版本的深度神经网络时，获得最佳结果为 0.011，而传统的 TF-IDF 和 PILtotensor 向量化方法获得的基准 MSE 为 0.412。这是首次使用多模态数据集来解决此任务，揭示了即使使用相对较小的模型（ResNet-50）对图像进行嵌入处理也能带来的显著好处。
Jun, 2024
通过将脉冲神经网络与事件摄像头相结合，我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法，旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型，同时参数数量减少了 1.6 倍，省去了批归一化阶段。
Jun, 2024
提出一种动态适应编码分布以匹配特定输入中的潜在数据分布的方法，通过估计更好的编码分布，并将其作为附加的辅助信息比特流进行压缩和传输，而后解码器使用该编码分布来解压对应的潜在数据。该方法在标准全分解架构上能够获得 - 7.10% 的 Bjøntegaard-Delta (BD)-rate 增益，并且在计算复杂性方面，与相关的辅助信息方法（如尺度超先验）相比，我们方法使用的变换在乘加（MAC）操作方面具有数量级上的更低成本。
Jun, 2024
通过简单特征的决策树是否能够逼近深度神经网络的问题，以及该问题的变体，正是对可由人类解释的机器学习模型不断增长的需求。本文通过引入可解释逼近的概念来研究这些问题，这一概念捕捉了通过一些基类概念的小聚合来逼近目标概念 c 的想法。我们的主要贡献是：对于给定的 H 和 c，对于任何给定的 pair，只有下列三种情况之一成立：(i) c 无法以任意精度通过 H 来逼近；(ii) c 可以以任意精度通过 H 来逼近，但不存在一种普遍的速率来限制逼近的复杂度与精度之间的关系；或者 (iii) 存在一个只依赖于 H 和 c 的常数 kappa，对于任何数据分布和任何期望的精度水平，c 可以通过 H 来逼近，并且复杂度不超过 kappa。这种分类法与监督分类的情况形成鲜明对比，后者提供了复杂的分布自由和普遍可学习的场景。我们表明，在可解释逼近的情况下，即使对逼近的复杂度有一个略微非平凡的先验保证，也可以得到具有常数（与分布和精度无关）复杂度的逼近。我们将我们的分类法扩展到具有无界 VC 维度的类 H，并给出了基于 H 生成的代数的可解释性的特征。
Jun, 2024