Feb, 2022

自动驾驶感知减少过度自信的预测

PDF
TL;DR本文探讨了基于概率的方式，采用已预训练网络的 Logit 层得分计算分布来进行物体识别，表明与 SoftMax 和 Sigmoid 相比，最大似然和最大后验函数更适合进行这种概率化解释，实现了良好的性能和可解释性。同时，由于这种方法可以在现有训练好的网络上实施，无需再进行训练。
deep learningobject recognitionprobabilistic approachlogit layerpre-trained networks
发现论文，激发创造
  • 基于卷积神经网络 ML-MAP 层的概率目标分类

    本论文提出了一种基于概率的卷积神经网络方法，采用 Logit 层中计算的分布来减少 SoftMax 层中过于自信的预测，从而实现贝叶斯推断，实验结果表明，该方法在目标分类任务中表现良好。

    May, 2020

  • 长尾视觉识别的平衡激活

    介绍了平衡激活 (Balanced Activation) 作为 Sigmoid 和 Softmax 激活函数的扩展，以适应目标检测中训练和测试之间的标签分布偏移；通过实验表明这种方法相对于当前最先进的方法提供了～3% 的性能提升，并且不需要引入额外的参数。

    Aug, 2020

  • 标准化最大对数值：一种简单而有效的方法用于在城市场景分割中识别意外的路障

    提出一种有效地通过标准化预训练模型的最大日志值来检测未预期对象的方法，不需要训练额外的网络或使用外部数据集，该方法在公共数据集上实现了最新技术的最好表现。

    Jul, 2021

  • 使用贝叶斯推理降低自动驾驶感知中的误报率

    该论文使用多传感器和多模态方法探索目标识别，通过贝叶斯推断的策略降低了误报率，在 KITTI 数据集上验证了该方法。

    Sep, 2023

  • 通过后续逻辑归一化和温度缩放改善深度神经网络的选择分类表现

    本文介绍了一种简单高效的后验置信度估计器 - $p$-NormSoftmax，它可以大幅提高预训练模型的选择性分类性能，并在实验中证明了此方法的有效性。

    May, 2023

  • 多项选择问答中，Softmax 概率（在很大程度上）预测大规模语言模型的正确性

    大型语言模型在多项选择问答任务中的最大 softmax 概率 (MSP) 与正确答案相比与错误答案相关性强，对问答任务表现优异的模型的 MSP 生成的 AUROC 在 59/60 情况中高于随机概率，并在最佳的六个模型中 AUROC 平均为 60% 到 69%。通过基于初始模型响应的 MSP 有选择地弃权，提出了一种能提高性能的多项选择问答任务。同样，我们使用预修正前 logit 进行了相同的实验，并获得了类似 (但不完全相同) 的结果。

    Feb, 2024

  • 通过 Score-Softmax 分类器提升分心驾驶检测的跨数据集性能

    基于 Score-Softmax 分类器的深度神经网络提高了驾驶员行为识别的泛化能力，并通过信息融合解决多信息融合挑战。

    Oct, 2023

  • 理解 Softmax 的置信度和不确定性

    本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

    Jun, 2021

  • 在应用主动学习于 Transformer 模型时，要使用 Softmax 还是不使用 Softmax：这是一个问题

    本文研究了活性学习的策略及其所用到的模型预测的置信度度量。通过对七个数据集中 8 种排除离群值的策略进行实验，发现大多数方法过于依赖寻找最不确定的样本（离群值），导致只标记离群值反而表现更差，文中提出一种方法对样本进行系统性忽略，在多种方法上相对 softmax 函数获得了更好的效果。

    Oct, 2022

  • 基于图像控制的自主安全概率的校准预测

    通过基于生成世界模型的可配置学习流水线，在不需要低维状态的情况下解决了在线安全预测问题，并提供了统计校准的安全机会预测保证。通过对图像控制系统的两个案例研究（赛车和平衡杆）进行广泛评估。

    Aug, 2023