Jul, 2023

随机集卷积神经网络（RS-CNN）用于认知深度学习

PDF
TL;DR本文提出了一种基于随机集的深度学习方法 RS-CNN，通过预测置信函数而非概率向量，估计模型对于其预测的正确程度和可能出现的误差，从而更好地处理机器学习领域中的不确定性和对抗性攻击。
machine learningadversarial attacksepistemic uncertaintyrandom-set convolutional neural network (rs-cnn)credal sets
发现论文，激发创造
  • 认知深度学习

    该论文介绍了一种基于随机集合解释置信度函数的认知深度学习概念，提出了一种新的随机集合卷积神经网络用于分类，并通过实验表明该认知方法在估计不确定性方面比传统方法具有更好的性能。

    Jun, 2022

  • 基于关系 - 形态卷积神经网络的点云分析

    该研究提出了 RS-CNN 方法，即关系形状卷积神经网络，将规则网格 CNN 扩展为点云分析的不规则配置。RS-CNN 的关键是通过学习关系来实现点之间的几何拓扑约束，从而获得具有形状意识和鲁棒性的点云局部表达，实现了针对点云分析的上下文形状感知学习。实验结果表明，RS-CNN 达到了业界领先水平。

    Apr, 2019

  • CreINNs：用于分类任务中的置信间隔神经网络的不确定性估计

    本研究介绍了一种用于分类任务的全新可信区间神经网络（CreINNs），通过确定性区间捕获权重不确定性，同时使用概率区间的数学框架预测区间集合；对 CIFAR10 与 SVHN 的异分布检测基准进行的实验证实表明，与变分贝叶斯神经网络（BNNs）和深度集成（DEs）相比，CreINNs 在对认知不确定性估计方面表现优越，并且 CreINNs 的计算复杂度大幅降低，模型尺寸较 DEs 更小。

    Jan, 2024

  • 卷积神经网络中分类误差估计的随机方法

    本技术报告在安全关键应用中，研究了用于图像分类的经过训练的卷积神经网络（CNN）的验证结果。通过使用 ANSI/UL 4600 和 ISO 21448 等新标准，结合现有标准 EN 50128 和 EN 50129，证明了类似 Grade of Automation (GoA) 4 的货运自动列车系统确实可以被认证。此外，通过传感器 / 感知器融合，进行了系统级危险率的定量分析，以满足可接受的安全完整性等级（SIL-3）。对 CNN 模型进行了数学分析，从中识别出分类集群和等价类，划分了 CNN 的图像输入空间。利用这些集群和类别，介绍了一种新的统计测试方法，用于确定经过训练的 CNN 的剩余误差概率及其相关的上限置信度。我们认为，考虑到 CNN 模型的内部结构，这种灰箱方法对于证明统计测试全面覆盖了训练过的 CNN 及其神经元和层间映射是至关重要的。

    Dec, 2023

  • 深度证据回归

    本文提出了一种新方法，通过在原始高斯似然函数上放置证据先验，训练神经网络 (NNs) 以估计连续目标及其相关证据，以学习 aleatoric 和 epistemic 不确定性。在多个基准测试中，本方法展示了学习良好校准的不确定度测量，可扩展到复杂的计算机视觉任务，并对对抗性和 OOD 测试样本具有鲁棒性。

    Oct, 2019

  • 基于卷积神经网络的网络鲁棒性预测学习方法

    使用卷积神经网络提取特征表示的学习方法可以更快、更准确地预测网络的稳健性，并提供一个好的指标来度量其连通性鲁棒性。

    Mar, 2022

  • 条件随机场作为循环神经网络

    介绍了一种名为 CRF-RNN 的新型卷积神经网络，该网络将卷积神经网络（CNN）和基于 CRFs 的概率图建模相结合，用于语义图像分割任务，结果在 Pascal VOC 2012 分割基准测试上获得了最好的结果。

    Feb, 2015

  • 通过随机自集成实现鲁棒神经网络

    本文提出了一种名为 RSE 的新型防御算法，利用随机性和集成两个重要概念，通过向神经网络中添加随机噪声层以防止强梯度攻击，并对随机噪声预测进行集成以稳定性能，从而保护目标模型。该算法在真实数据集上表现非常优异，能够有效防御对神经网络的攻击。

    Dec, 2017

  • SCNN: 基于一般分布的统计卷积神经网络及其在视频目标检测中的应用

    本文提出了一种通过操作相关数字分布的统计卷积神经网络（SCNN）来处理多帧相关图像的方法，实现了显著的速度提升，即使在未经优化的情况下，仍然能实现高达 178% 的加速。

    Mar, 2019

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020