- EMNLP关于大型语言模型和对齐的校准
通过对大型语言模型的可靠性进行置信度校准的系统检查,我们评估了在预训练和对齐训练阶段中不同训练设置(如参数尺度和训练数据)对模型校准的影响,并对生成、真实性和理解等方面进行了全面的评估。
- MSE-Nets:用于提高具有模糊边界的医学图像分割的多注解半监督集成网络
使用有限的多注释和丰富的无注释数据,我们提出了一种多注释半监督集成网络(MSE-Nets),用于医学图像分割任务,通过多种方法增强模型,优化可利用的注释数据,减少重复注释的需求,并提高模型在医学图像分割中的性能。
- ChatGPT 提示无法估计高资源语言的预测不确定性
ChatGPT 通过在高资源语言中表现和预测答案准确性的能力进行分析,发现高资源语言表现与英语相似,但 ChatGPT 缺乏良好的置信度校准,常常过于自信且不会给出低置信度值。
- 迈向经过校准的鲁棒视觉语言模型微调
就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系,研究提出了一种校准鲁棒微调(CaRot)方法,以在内部数据和外部数据集上提高预训练视觉 - 语言模型(VLMs)的校准性和鲁棒性。验证结果证明了该方法的有效性。
- 错配的两面:识别网络校准中的过度自信和不足自信预测
深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题,并成功在各种任务上展示了其成果。然而,置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标,即校准错误评分,用于识别整体和 - 基于激光雷达的语义分割中不确定性估计的校准
我们提出了一种测量语义分割模型对各个类别的置信度校准质量的度量标准,并使用该标准评估不平衡类别的不确定性估计方法的置信度校准情况。此外,我们还建议该方法可以自动发现标签问题,改善手工或自动注释数据集的质量。
- 通过帕累托最优自我监督实现大型语言模型的自动校准和误差修正
本文提出了一种 Pareto 最优的自我监督框架,该框架可以利用可用的程序监督来系统地校准 LLM 响应,为每个响应产生风险分数,从而不需要进行任何额外的人工努力。
- 概率分类器上的 Shapley 值
本文提出了一种概率 Shapley 值(P-Shapley),通过构建一个基于概率分类器的类概率效用函数来量化每个数据点对概率分类器的边际贡献,并提供几种置信度校准的激活函数,从而实现评估数据重要性以构建高可用性和可信赖性 ML 模型的目的 - 深度神经网络的近邻校准
研究表明,机器学习模型的置信度校准常常忽略距离偏差问题,即在低接近度数据(即分布稀疏的区域)上比在高接近度样本上更容易过度自信,进而导致不一致的误校准。基于此,该研究提出了一种名为 ProCal 的插件式算法,具有调整样本置信度的理论保障。 - 忠实知识蒸馏
本文探讨了知识蒸馏(KD)中的师生对相对可靠性的问题,提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准,同时介绍了一种忠实蒸馏方法,其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。
- 基于高斯耦合 Softmax 层的生成模型和判别模型的混合
本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法,其中关键的想法在于高斯耦合 softmax 层,该层可以嵌入神经网络分类器中,允许分类器估计类的后验分布和类条件数据分布,而且该混合模型适用于半监督学习和置信度校准。
- IJCAI适用于视力受损人士的质量不敏感图像字幕技术
本文提出了一种质量不受限制的框架,通过数据增强、双网络架构和置信度校准,来提高视障人士图像字幕模型的性能和稳健性,并在与 Royal National Institute of Blind People 合作的辅助生活应用中实现了改进的模型 - 神经网络的校准
该论文研究了神经网络中置信度校准的问题,并提供了校准方法的经验比较,分析了可视化和标量测量评估模型置信度校准的不同方法,并对基于后处理或对训练进行更改的现代校准技术进行了评估,实验结果覆盖了各种数据集和模型,比较了不同标准下的校准方法。
- 上下文感知选择性标签平滑以校准序列识别模型
本文提出了一种基于上下文的选择性标签平滑方法(CASLS),以解决训练过程中的过度拟合问题以及置信度校准问题,通过利用顺序数据中的上下文依赖性来构造混淆矩阵,并使用类特定错误率来调整平滑强度的权重,从而实现自适应校准。在场景文本识别和语音识 - 校准操纵彩票:使所有选票可靠
本研究提出了一种新的稀疏训练方法,利用两个掩码来生产具备优化置信度校准的稀疏模型,文中实验证明,该方法使 ECE 值下降了达 47.8%,并且同时保持或提高准确性,而只需稍微增加计算和存储负担。
- 预训练 Transformer 内部分布校准的技巧
本文探讨了针对预训练语言模型(PLMs)的置信度校准,提出了一种 Calibrated PLM(CALL)的组合方法,包括置信度惩罚损失、数据增强和集成方法,CALL 能够弥补对单独使用校准方法可能产生的缺陷,提高了分类和校准精度。
- CVPR语义分割模型的校准:分析与算法
研究了语义分割校准的问题,提出了一种简单而有效的选择性缩放方法来校准模型,实验结果表明其在多个基准测试中具有卓越的性能。
- EMNLP校准相遇解释:一种简单有效的模型置信度估计方法
本文提出 CME 方法,结合模型解释来降低非归纳属性的模型信心度,进而提高预测的后验概率校准性能。在六个数据集上的实验表明,该方法提高了所有设置下的校准性能,并在温度缩放的情况下进一步降低了预期校准误差。
- 模型无关的多智能体感知框架
本文提出了一种基于模型无关且不共享模型信息的多智能体感知框架,旨在消除模型差异性对性能的负面影响。具体地,我们提出了一种置信度校准器,可消除预测置信度评分偏差,并为此独立地在标准公共数据库上进行校准。此外,我们还提出了相应的边界框聚合算法, - 利用超球空间和重新平衡的精度 - 不确定性损失进行意图检测置信度校准
提出一种使用超球空间和重新平衡的准确性 - 不确定性损失来解决置信度校准问题的模型,通过在超球空间上投影标签向量来生成密集的标签表示矩阵,同时对不同准确性和不确定性的样本进行重新平衡来更好地指导模型训练,实验表明该模型优于现有校准方法,并在