ICLRFeb, 2020

用于量化鲁棒性的梯度 L1 正则化

PDF
TL;DR本文研究了神经网络中权重和激活量化的影响，提出了一种简单的正则化方案来提高其对培训后量化的适应性。通过训练量化 - ready 的网络，我们的方法可以存储一组可按需量化为不同位宽的权重。我们将量化建模为有界扰动，并使用梯度的 L1 范数来对其进行正则化，实验证明了我们该方案的有效性。
发现论文，激发创造
  • 神经条件概率推理

    介绍了一种名为 NCP（神经条件概率）的新型算子理论方法，用于学习条件分布并重点关注推断任务。NCP 可用于构建条件置信区间、提取条件分位数、均值和协方差等重要统计量。通过利用神经网络的强大近似能力，该方法有效处理各种复杂概率分布，能够处理输入和输出变量之间的非线性关系。理论保证了 NCP 方法的优化一致性和统计准确性。实验证明，使用简单的具有两个隐藏层和 GELU 激活函数的多层感知机（MLP），我们的方法可以与领先的方法相媲美甚至超越，展示了在更复杂的架构中，基于理论的损失函数的最小化结构可以在不损失性能的情况下取得具有竞争力的结果。

    Jul, 2024

  • 探索 MX 及其进一步的 FPGA 设计

    针对低精度计算的 Open Compute Project MX 标准，本文描述并评估了首个开源 FPGA 实现的算术计算。我们的设计完全支持标准中定义的具体格式以及标准规定的算术运算，同时还支持任意固定点和浮点格式。通过实现例子神经网络如 ResNet-18，我们展示了 MX 对于 INT5 或 FP6 等格式的非原生支持在 FPGA 上具有非常好的效果，这使得 FPGA 在灵活性和占用更小面积方面占据优势。

    Jul, 2024

  • 你确定吗？分析面向实际语音情感识别的不确定性量化方法

    使用简单的 UQ 方法，结合额外的 OOD 数据训练可以大大改善语音情感识别中因常见挑战如信号污染、语音缺失而导致的不确定性。

    Jul, 2024

  • 通过权重置换训练的神经网络是通用近似器

    通过证明其引导 ReLU 网络逼近一维连续函数的能力，并在各种初始化情况下实现回归任务的高效性，本文提供了对一种新颖的基于排列的训练方法的理论保证，其在不修改权重值的情况下展示出理想的分类性能。权重排列过程中的显著观察提示了排列训练可能会提供一种描述网络学习行为的创新工具。

    Jul, 2024

  • 利用蒙特卡罗方法实现混合效应神经网络对多样化，集群数据的支持

    MC-GMENN 是一种新颖的方法，使用蒙特卡罗方法训练广义混合效应神经网络，证明在泛化性能、时间复杂度和簇间差异量化方面优于现有的混合效应深度学习模型，适用于包括多类别分类任务在内的各种数据集，并提供了一种解释聚类模式效果的原则方法。

    Jul, 2024

  • KHNNs: 使用 TensorFlow 和 PyTorch 在 Keras 中进行的超复杂神经网络计算

    神经网络的超复数计算在某些应用中表现更好，我们建议使用与 Keras 集成的库在 TensorFlow 和 PyTorch 中进行超复数计算。

    Jun, 2024

  • 神经网络中梯度平滑的公理化

    神经网络梯度平滑理论框架及其设计新方法的研究潜力探索

    Jun, 2024

  • 深度聚类综述：从先验角度

    基于神经网络的深度聚类在分析高维复杂现实世界数据方面取得了巨大成功，然而现有工作往往忽视了深度聚类中先验知识的融合和利用，本文通过对各种先验知识进行分类，提供了全面的深度聚类方法综述，并提供了五个广泛使用的数据集的基准测试和方法性能分析，希望能够为深度聚类研究提供一些新的见解和启发。

    Jun, 2024

  • 基于细粒度梯度保持的脑肿瘤分类的深度融合模型

    该研究提出了一种精确的大脑肿瘤分类方法，通过融合预训练的 ResNet152V2 和修改的 VGG16 模型，在深度神经网络中保留细微的梯度以实现有效的肿瘤分类，并结合各种图像处理技术来改善图像质量，准确度分别达到 98.36% 和 98.04%，并且在资源受限的边缘设备上能够平滑部署。

    Jun, 2024

  • 并行随机梯度下降的混合方法

    我们提出了一种介于同步和异步方法之间的混合数据并行性方法，使用这两种方法训练神经网络，通过适当选择阈值函数来逐渐从异步转为同步的参数聚合，我们证明在一定时间范围内，我们的混合方法优于异步和同步方法。

    Jun, 2024