Jun, 2024

Grad-Instructor：元学习和自动机器学习的可解释性评估神经网络的通用反向传播

PDF
TL;DR使用强化学习训练的评估神经网络（ENN）作为反向传播中的附加评估函数，提高深度神经网络训练的方法，通过对 0.15^2 倍分辨率的输入数据进行处理，ENN 实现有效的推理，结果表明，使用该方法训练的 MLPs 的平均测试准确率达到了 93.02%，比仅使用传统反向传播或 L1 正则化训练的模型高出 2.8%，而且测试准确率与 He 初始化网络相当，缩小了测试误差和训练误差之间的差距，并且无需增加训练轮数，避免过拟合风险，还能根据训练阶段动态调整梯度大小，降低了寻找最佳训练方法所需的时间，论文还使用 Grad-CAM 对 ENN 的可解释性进行了分析，展示了它们可视化评估基数的能力，并支持了强大的抽奖票假设。
发现论文，激发创造
  • 异构分布式物联网环境下适应性推理的高效后训练增强

    我们提出了一种自动增强流程，将现有模型转换为 EENN，并为异构或分布式硬件目标执行所有必需的设计决策。我们的方法在物联网和标准图像分类用例中都能有效降低推理成本，并大大减少 EENNs 的搜索成本，提高了神经网络在各种实际应用中的效率。

    Mar, 2024

  • 多维不确定性感知证据神经网络

    本文提出了一种新型的基于 WGAN 的 evidential neural network (WENN)，通过在模型训练中进行多维不确定性建模，增强了 OOD 检测的性能，从而在绝大多数数据集上优于对手模型。

    Dec, 2020

  • 通过认知神经网络进行语言模型微调

    本文提出在大规模语言模型上加入 epinet 网络架构以取得 epistemic neural network (ENN) 优化的结果，使用该方法在 GLUE 任务中，不仅可以达到和 BERT 相同的性能表现，还能使用少两倍的数据。同时，该方法在神经网络生成模型中也表现良好，优于启发式主动学习方法。

    Nov, 2022

  • 基于图神经网络的解释自动化评估

    对于如何以易于理解的方式向终端用户解释图神经网络预测仍然是一个未解决的问题，本文基于应用趋势和实际问题经验，提出了一种自动评估 GNN 解释的方法。

    Jun, 2021

  • 未来原位实时行星探索中实现深度学习的可解释性工具

    本文使用综合梯度来描述每个神经元对输出类的归因，并提供一套可解释性工具，使神经元对于分类的个人贡献可以排名和可视化。该技术将使神经网络更小、更高效并且更可测试，有助于实现在小型嵌入式系统中的实施，更易于验证和验证，并促进将深度学习应用于未来的原地行星探测任务。

    Jan, 2022

  • 上下文解释网络

    提出使用 CEN（contextual explanation networks）架构进行预测，生成中间简化的概率模型作为解释，为每个预测生成有效的、实例特定的解释，并可用于决策支持。CEN 架构不仅和现有的最先进方法相竞争，且在决策支持方面提供了有价值的额外细节。

    May, 2017

  • ENN：一种带有 DCT 自适应激活函数的神经网络

    该研究提出了一种新的神经网络架构 - Expressive Neural Network (ENN)，其中非线性激活函数使用离散余弦变换 (DCT) 建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的学习任务。经过大量实验证明，ENN 的性能超过当前的最先进技术，并在某些场景下提供高达 40％的准确性差距。

    Jul, 2023

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017

  • 认知神经网络

    本文介绍了一种能够辅助任何传统神经网络，包括大型预训练模型，能够用较少的计算量来预测不确定性的架构 ——epinet。使用 epinet，传统神经网络在预测标签上的表现优于包含数百个或更多粒子的非常大的许多集合，而且使用的计算资源和数据也大大降低了。

    Jul, 2021

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023