预训练 Transformer 内部分布校准的技巧

Feb, 2023

预训练 Transformer 内部分布校准的技巧

Bag of Tricks for In-Distribution Calibration of Pretrained Transformers

Jaeyoung Kim, Dongbin Na, Sungchul Choi, Sungbin Lim

TL;DR本文探讨了针对预训练语言模型（PLMs）的置信度校准，提出了一种 Calibrated PLM（CALL）的组合方法，包括置信度惩罚损失、数据增强和集成方法，CALL 能够弥补对单独使用校准方法可能产生的缺陷，提高了分类和校准精度。

Abstract

While pre-trained language models (PLMs) have become a de-facto standard promoting the accuracy of text classification tasks, recent studies find that PLMs often predict over-confidently. Although various calibra

pre-trained language models confidence calibration ensemble learning data augmentation text classification tasks

发现论文，激发创造

使预训练语言模型既成为任务求解器又成为自我校准器

为解决现实场景下对训练样本的有效利用，提出了一种训练算法 LM-TOAST，可以在保持原任务性能的同时，有效利用训练数据使预训练语言模型具有合理的置信度估计。

Jul, 2023

预训练语言模型的校准研究

本文通过精细控制实验和给定数据集，考察了 PLM 模型在训练过程中的校准性能，发现仍然存在校准问题；然后对比了多种方法，提出基于已有方法的扩展性学习方法，证明其显著提高模型的不确定性估计水平。

Oct, 2022

使用预训练语言模型的不确定性量化：一项大规模经验分析

该论文研究了基于预训练语言模型的 NLP 任务中的预测流水线如何最小化校准误差，比较了不同选项的表现，并推荐使用 ELECTRA 作为 PLM 编码，尽可能使用更大的 PLM，使用温度调节作为不确定性度量，以及使用 Focal Loss 进行微调。

Oct, 2022

上下文学习的可区分性校准

本文提出了一种基于特征转换、超球面嵌入和粗粒度到细粒度度量学习策略的校准方法，以提高模型在含有细粒度分类标签的文本分类任务中的表现。实验证实了该方法的有效性。

Feb, 2023

保留预训练特征有助于校准微调语言模型

本研究主要探讨了针对领域偏移的细调语言模型进行校准的问题，并提出了一种有效的方法，即在辅助语言建模目标的基础上鼓励细调模型学习生成表示，从而提高其校准度并在三项下游自然语言理解任务中具有良好的表现。

May, 2023

预训练语言模型的事实知识校准

本文提出了一种简单轻量级的方法 CaliNet，用于校准预训练语言模型（PLMs）中所保存的事实性知识，试图解决当前存储知识的准确性问题，这一方法通过知识探测任务的实验表明其效率及有效性，并且经过微调后，其校准后的 PLM 具有良好的知识泛化能力，并且我们还进一步研究了知识校准机制。

Oct, 2022

LLMs 的置信度评分多重校准

通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

Apr, 2024

多模态学习的校准

该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.

Jun, 2023

使用大型语言模型进行文本分类的无监督校准与先验适应

本文提出了一种适用于文本分类任务的策略，无需标签样本，只需少量样本查询，并将先验类分布适应于任务，通过对模型后验概率进行校准，结果表明这些方法在提示中的不同训练次数下优于未适应模型。

Jul, 2023

通过询问进行校准：从人类反馈 Fine-Tune 的语言模型中获取校准置信度得分的策略

本研究旨在评估从经过强化学习加人工反馈的预先训练语言模型中提取置信度得分的可行方法，通过合理的提示策略和温度缩放，成功降低超过 50％的校准误差

May, 2023