ACLMay, 2023

深度神经网络中局部不稳定性的测量和缓解

PDF
TL;DR通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。
deep neural networksmodel stabilitynlu taskslabel entropydata-specific clustering
发现论文，激发创造
  • 使用深度学习的临床风险分层模型不稳定性

    研究了在电子健康记录上训练不同模型的稳定性，证明相同模型在相同训练数据上的重复训练会产生显著不同的结果，并提出了衡量模型的稳定性和提高模型稳定性的应对策略。

    Nov, 2022

  • 通过稳定性训练改善深度神经网络的鲁棒性

    本研究解决了深度神经网络输出不稳定的问题，通过提出一种稳定训练方法，使其能够应对常见图像处理带来的输入扭曲，并在大规模近似重复检测、类图像排序和嘈杂数据集分类等方面取得了鲁棒且最先进的性能。

    Apr, 2016

  • 连续数据更新下的模型稳定性

    本研究探讨了机器学习模型的稳定性问题，提出了评估模型稳定性的方法，并发现网络架构和输入表示等模型设计选择对稳定性有重大影响，推荐在进行建模选择时考虑准确性和抖动之间的权衡。

    Jan, 2022

  • 分析过敏的 AI：企业级机器学习中的不稳定性

    本研究关注于应用预测几何模型于机器学习中时所面临的稳定性和方差问题，并通过分析诸如单个数据点、逼近方法和参数设置等特征对基于 word2vec 的推荐系统几何模型进行调整和优化，以实现对大规模数据点的信息价值检测。

    Jul, 2018

  • 间隔神经网络作为图像重建的不稳定性检测器

    本研究探讨了使用深度学习模型进行图像重建任务时可能出现的不稳定性检测问题，并展示了如何利用不确定性量化方法作为不稳定性检测器来保证医学应用中使用基于深度学习的图像重建的安全性。

    Mar, 2020

  • 深度学习在图像重构中的不稳定性 - AI 是否是一种代价？

    在影像重建领域，深度学习因其在图像分类等任务中的示例成功而崭露头角，但其不稳定重建方式成为一个至关重要的问题。本文提出了一种新的稳定性测试方法，并研发了易于使用的软件，旨在帮助科学家和政府机构（如美国食品和药品管理局）确保深度学习方法的安全应用。测试发现，深度学习中的不稳定现象表现在多个方面，包括微小的扰动引起重建图像中的严重伪影，小的结构变化可能无法在重建图像中捕捉，加入更多的样本反而表现更差等等。

    Feb, 2019

  • 理解词嵌入的下游不稳定性

    对现代自然语言处理管道的核心构建块 —— 预训练词嵌入的稳定性进行深入研究，通过提出新的嵌入不稳定性度量来解释模型训练的不稳定性，并提出提高嵌入存储大小以达到降低不稳定性的稳定性 - 内存权衡。

    Feb, 2020

  • 深度学习中可验证准确性、鲁棒性和泛化的边界

    通过评估理论限制，我们研究了神经网络在分类任务中确定稳定性和准确性的保证限制。我们考虑经典的分布无关框架和最小化经验风险的算法，同时受到一些权重正则化的约束。我们展示了一个庞大的任务集，对于这些任务，在给定的神经结构类中计算和验证理想的稳定和准确的神经网络是极其具有挑战性的，即使在这样的理想解在给定的神经结构类中是可行的。

    Sep, 2023

  • 深度神经网络的敏感性分析

    本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

    Jan, 2019

  • 神经网络优化中的不确定性和不稳定性

    本文实验性地研究了神经网络优化的不确定性，证明了所有不确定性来源都对模型多样性具有类似的影响，这是因为模型训练的不稳定性是决定性的因素，并提出了两种减少波动性的方法。

    Mar, 2021