本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

Dec, 2020

通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

Oct, 2022

该论文通过大量实验、分析和案例研究，发现并验证了系统性扩散是理解和解决标签平滑和知识蒸馏之间互相矛盾的发现的关键概念，从而推荐使用经过标签平滑的教师模型以及低温度传输来获得高性能的学生模型。

Jun, 2022

提出一种新颖的多标签知识蒸馏方法，通过将多标签学习问题分解为一组二元分类问题，并利用标签间嵌入的结构信息来增强学习特征表示的独特性，避免标签间的知识对抗，从而在多个基准数据集上实现了优越的性能。

Aug, 2023

研究了标签平滑技术与知识蒸馏的相容性，并提出一种度量被擦除信息的度量标准，在图像分类等方面进行大量分析，证明了在某些情况下标签平滑会失去其效果。

Apr, 2021

本研究提出了一种基于课程学习的优化框架 CL-DRD，通过控制先前重排（教师）模型产生的训练数据难度级别来优化稠密检索（学生）模型，在三个公共语段检索数据集上的实验证明了该框架的有效性。

Apr, 2022

数据质量是机器学习模型性能的关键因素，数据集精馏方法通过将训练数据集压缩为保持相似下游性能的较小版本来利用数据质量。通过剔除实验，我们发现当前最先进的精馏方法的性能取决于使用软标签而不是生成合成数据的具体技术。此外，我们还发现软标签的有效性与每类图像的数量之间存在经验性规律，挑战了传统的数据集精馏方法，并提出了改进精馏方法的新方向。

Jun, 2024

提出了一种基于查询的知识共享范式，通过预训练的 VLP 模型从输入图像中提取关键的视觉知识，并通过有效的提示池进行鲁棒的标签嵌入，进而在零样本任务中显著提高了标签识别的性能。

Jan, 2024

研究了自然语言推理任务中固有人类分歧 (注释标签分布) 的估计。通过后处理平滑预测的标签分布以匹配期望的标签熵取得了很好的效果。同时，通过引入有多个参考的少量样例进行训练，相较于传统做法每个训练样本只采集一个参考，我们发现这种多参考的方法可以在固定注释预算下实现更好的精度。最后，提供了对比这两种方法的丰富分析，用于改进标签分布估计。

Feb, 2021

提出一种新颖的联合训练方法，将密集型段落检索和段落重新排名进行联合优化，其中动态列表蒸馏、混合数据增强策略和列表训练方法等对于检索和重新排名均具有显著的贡献，实验结果表明该方法在 MSMARCO 和自然问题数据集上具有有效性。

Oct, 2021