- 通过级联分解的 CoTs 蒸馏提升学生的推理泛化能力
大语言模型通过教师 - 学生学习实现对较小模型的推理增强，但传统方法在领域内推理表现优秀的同时，在跨领域任务中效果较差。本文通过将传统的单步学习过程分解为两个级联学习步骤，提出了级联分解 Chain-of-Thoughts 教师 - 学生学 - TelME：基于教师引导的对话情感识别的多模融合网络
通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，Tel - 走向全方位监督引用表达分割
基于语义表达分割（RES）的任务，提出一种新的学习任务，称为全监督引用表达分割（Omni-RES），旨在充分利用未标记、完全标记和弱标记数据进行高效的 RES 训练，并基于最近流行的师生学习方法提出一种有效的基准方法来解决监督信号不直接依赖 - TGRL：一种教师引导增强学习算法
通过权衡强化学习和师生学习目标的重要性，我们提出了一种有原则的方法，实现了在何时遵循教师和何时使用奖励进行动态自动平衡，这种方法名为‘教师引导强化学习’（TGRL），无需超参数调整在不同领域都能超越强基线。
- KDDMSSRNet: 基于顺序风格表示的无监督文本风格转换
该研究提出了一种通过为每个单词分配个体风格向量来进行细粒度控制和操作的无监督文本风格转移方法，并引入了一种教师 - 学生学习集成的对抗训练框架以提高训练稳定性和降低高维优化的复杂性，实验结果表明其在两种和多种风格转移中具有明显改进的风格转移 - ICLR单正多标记学习的伪标签
该研究介绍了一种称为伪多标签的方法，通过教师模型在单个正标签上训练，然后使用其预测作为标记数据来训练学生模型，以解决多标签图像分类中数据注释成本高的问题。研究表明，在实际的全标签数据上训练得到的模型性能可以近似于该方法训练得到的模型。
- 通过规范化特征范数和方向提高知识蒸馏
提出了一种基于大范数特征和类均值对齐的知识蒸馏方法 NDKD，该方法在 ImageNet 和 CIFAR100 数据集上取得了最好的分类精度。
- CVPR半监督对象检测的主动教师
本文研究了教师 - 学生学习的数据初始化问题，并提出了一种称为 Active Teacher 的新算法，用于半监督目标检测。Active Teacher 可以最大限度地利用有限的标签信息来提高半监督的性能。我们在 MS-COCO 基准测试上 - 一种带泊松子抽样的集成师生学习方法，用于差分隐私保护语音识别
提出了一种使用泊松子采样的集成学习框架，有效地训练一组教师模型以针对训练数据发出一些不同隐私保护（DP）保证。通过在 DP 下 Boosting，从训练数据中派生的学生模型遭受的模型退化很少，可以从无隐私保护的模型中进行训练。
- 基于统计力学的教师 - 学生网络连续学习中的灾难性遗忘分析
本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。
- CVPR3DIoUMatch: 利用 IoU 预测实现半监督 3D 物体检测
本研究提出了一种基于半监督学习的 3D 目标检测方法，通过教师 - 学生的互相学习机制传播信息，结合置信度过滤和 3D IoU 定位度量，实现了在室内外场景下进行更有效、精确的目标检测，提升了现有方法的表现。
- 宽神经网络中的知识蒸馏：风险界限、数据效率和有误导的教师
通过使用教师网络的软输出作为向导进行学生网络的训练，知识蒸馏是模型压缩和知识转移的成功方法之一。本文通过分析一种宽神经网络的知识蒸馏，提出了一种称为数据效率的任务难度度量标准，并证明了在教师完美的情况下，教师软标签的高比例可以很有益处，并且 - 知识蒸馏实现的无监督多目标域自适应
本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练 CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性 - ACL基于师生学习的单 / 多源跨语言实体识别技术在目标语言上使用未标注数据
本文提出一种基于师生学习方法的跨语言命名实体识别学习方法，该方法能够更好地利用源语言和目标语言中的已标注和未标注数据，特别适用于多源跨语言学习，实验证明该方法在三种目标语言上均优于现有的最先进方法。
- AAAI基于图像的目标再识别的不确定性感知多次拍摄知识蒸馏
本文提出了一种基于多张同一对象照片的师生式学习的 Uncertainty-aware Multi-shot Teacher-Student (UMTS) 网络，该网络可用于车辆人员重识别（Vehicle re-id and Person r - 使用教师 - 学生学习的轻量级 3D 人体姿势估计网络训练
本篇论文提出了 MoVNect 模型，采用单个 RGB 相机捕捉 3D 人体姿态。我们采用师生级联学习模型蒸馏技术提高模型性能，使用实时后处理技术使 CNN 输出产生具有时间稳定性的 3D 骨骼信息，从而实现了高精度和快速推断时间。 ext - 一种新的被遮挡人员再识别师生学习框架
本文提出一种教师 - 学生学习框架，通过构建共同显著特征提取网络和跨域模拟器，从全身人的领域中学习抗遮挡模型，并将该知识转移至真实遮挡人体数据以实现更好的人重识别性能。实验结果在四个参考数据集上表明本文方法优于其他最先进的方法。
- IJCAI综合过滤知识：从多任务教师中学习定制化学生
该论文提出了一种基于预训练卷积神经网络的教师 - 学生学习方法，通过多个教师的知识筛选和层次式训练策略，将目标学生网络定制到不同任务，从而在多项基准测试中实现了优异结果。
- 有条件的师生学习
通过提出一种条件性的教师 - 学生 (T/S) 学习方案，在一定程度上解决了 T/S 学习中教师模型不完美时可能会向学生模型提供错误指导的问题，而且在环境适应和说话人适应方面获得了比 T/S 学习更好的结果。
- 使用声学图像的音视频模型蒸馏
本研究旨在研究如何从视觉数据和新型的音频数据模式 —— 声学图像中学习丰富和强大的音频分类特征表示，通过利用新的多模态标记行动识别数据集，并针对性地训练音频深度学习模型，从视觉和声学图像方面实现知识蒸馏，以获得比单麦克风声音数据训练模型更强