- 神经网络校准度的解耦
当前大量的工作专注于保护自主驾驶系统,这些系统在计算机视觉方面严重依赖于深度神经网络。我们研究了不同神经网络校准度量的耦合,重点关注稀疏化误差曲线下的面积(AUSE)指标。我们详述了确定最佳校准度使用期望校准误差(ECE)时存在的众所周知的 - 在对抗性攻击下实现不确定性校准的认证
神经分类器对扰动敏感,证书方法提供对其预测的扰动不敏感性的可证明保证,而模型的置信度在安全关键应用中尤为重要。我们证明了攻击可以严重影响置信度,并提出了对置信度的最坏情况下的证书校准作为对抗性扰动下的置信度的界限。最后,我们提出了新的校准攻 - 几何视角下的焦点损失:降低曲率以增强模型校准
机器学习算法在决策情境中的关键因素不仅是模型的准确性,还包括模型的置信水平。然而,模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释,以理解焦损失的行为。我们的分析表明,焦损失可以降低训练 - 现代 UDA 算法中的超度现象
神经网络面对与其训练集不同的陌生数据时,存在域偏移的问题,现有的解决方法包括不加监督的域适应和确定性提取等,但它们往往会导致模型的过度确定性现象,本文提出了一种增加准确性并保证模型校准的不加监督域适应算法,适用于计算资源有限的环境。
- 通过提高预测正确性意识来优化校准
模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度,从而与现有技术在校准性能上达到相当竞争水平。
- 连续学习模型的校准
持续学习聚焦于在非平稳数据流上最大化模型的预测性能。本文通过第一次对持续学习中校准方法行为的实证研究,展示了持续学习策略并不能自然地学习到校准模型,并设计了一种持续校准方法,该方法通过后处理校准方法在不同基准和持续学习策略范围内提升性能。
- Calib3D: 可靠的 3D 场景理解模型偏好校准
对现有的三维场景理解模型进行不确定性估计并评估其可靠性,发现在安全敏感的环境中,虽然现有模型在准确性方面表现出色,但却经常无法提供可靠的不确定性估计,这严重影响了它们的适用性。通过分析网络容量、LiDAR 表示、光栅化分辨率和三维数据增强技 - 通过建模弱标签集推进睡眠检测:一种新的弱监督学习方法
本研究提出了一种新颖的睡眠检测方法,使用弱监督学习来处理缺乏可靠标签的情况。通过借助常规睡眠检测算法生成的预测结果作为弱标签,引入了一种新的非线性统计模型。结合神经网络检测睡眠,以睡眠概率作为二项分布的参数,最大化该模型的似然函数等效于最小 - 透过分裂投票的镜头:探索法律案件结果分类中的分歧、难度和校准
法律决策中的分裂投票在处理多样化的法律论点和意见时给律师带来困难。了解人类与 AI 系统之间知觉难度的一致性对于建立信任至关重要。然而,现有的 NLP 校准方法重点关注分类器对预测性能的意识,忽视了人类标签变化的固有性。本文探讨了分裂投票作 - 面向机器人辅助手术的开放式外科活动识别
在自动机器人手术和计算机辅助干预领域中,理解机器人手术活动至关重要。为了解决真实世界中的开放场景挑战,我们引入了一种创新的开集手术活动识别(OSSAR)框架,通过使用超球面互补点策略增强特征空间中已知和未知类之间的差异,并通过改进模型校准来 - ICLR拓展边界:Mixup 对神经崩溃的影响
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析, - 交叉熵 vs. 标签平滑:神经崩溃视角
通过神经崩溃的视角研究标签平滑损失,发现标签平滑能够加快模型收敛速度,增强模型崩溃水平,提供了模型校准和性能优势的有价值见解,同时通过理论和实证相结合的方法,深化了对标签平滑和交叉熵损失之间差异的理解,并展示了神经崩溃框架在深度神经网络研究 - 勿妄为,自制自己:通过多个 LLM 协作识别 LLM 知识盲点
通过合作和竞争的方式,提出了两种新的方法来识别大型语言模型的知识缺口,并在检索增强和多跳推理中帮助识别失败案例和知识缺口。
- 在没有标签的标签偏移下估计校准误差
在面对数据集转移时,模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型 CE 估计器,通过利用加权重要性重新调整标记源数据分布,实现了对转移目标分布的一致且渐进无偏的 CE 估计,实验结果表明该估计器的有效 - LitCab: 轻量级语言模型校准在多种长度输出上
LitCab 是一种轻量级的校准机制,通过仅增加不到原始模型参数数量的 2% 的线性层对输入文本表示进行操作,改善了模型校准,提升了在不同文本生成任务上的性能,并对不同模型进行综合评估,得出了关于模型校准的关键发现。
- MaxEnt Loss: 基于约束的最大熵法在外样本分布变化下的校准
介绍了一种解决超出分布校准问题的新损失函数,基于最大熵原理,通过加入在训练过程中观察到的有帮助的统计约束,实现更好的模型校准而不损失准确性,理论分析和实验证明了该方法在合成和现实世界基准上取得了最先进的校准效果。
- EMNLP用于事实探索的测试时增强
使用测试时增强作为一种关系不可知方法,通过在测试时自动增强和集成提示,来减少对提示变化的敏感性,实验结果显示了改进的模型校准性,即使用测试时增强,模型的置信度更好地反映了预测的准确性。
- IW-GAE:用于提高非监督领域自适应中校准和模型选择的重要性加权分组准确性估计
本文提出了一种新颖的权重分组准确度估计方法,以解决由于分布变化导致的模型校准和模型选择困难,实验证明了分组准确度估计在提高模型校准和模型选择上的有效性,强调了在无监督领域适应中解决挑战的重要性。
- 抑制复制:全面理解注意力头
GPT-2 Small 模型的 Attention Head 10.7 (L10H7) 通过抑制复制行为实现模型校准和自修复。
- 深度神经网络在医学图像分类中的校准理解
在医学图像分析领域,确保高准确性不仅是重要的,确保有良好校准的预测也至关重要。通过提供模型的确定性洞察,识别需要关注的情况并建立对其预测的信任,深度神经网络的置信度在可解释性方面起关键作用。我们进行了一项全面的实证研究,探索了不同训练方式下