- DL-KDD: 暗光条件下行动识别的双光知识蒸馏
我们提出了一种新颖的师生视频分类框架 DL-KDD,它能够在不引入额外计算成本的情况下,从原始和增强视频中学习,通过知识蒸馏策略训练师傅模型和学生模型,使学生模型在推理过程中仅使用原始输入视频来预测动作,实验证实了这种蒸馏策略在暗光环境下人 - 多功能教师:一种面向跨领域适应的课程感知教师 - 学生框架
在跨领域目标检测中,本文引入了一种名为 Versatile Teacher (VT) 的新型教师 - 学生模型,通过考虑类别特定的检测难度并采用两步赋值机制,生成更可靠的伪标签,将其作为显著性矩阵来引导区分器进行有针对性的实例级对齐,取得了 - 具有教师 - 学生框架的超级实用对话生成系统
SuperFace 是一种师生框架,通过简单而有效的教师模型生成高质量的结果,并通过高度减少计算负载的身份特定的学生模型实现了质量与效率的平衡,为语音与视频驱动的面部生成技术提供了全面的解决方案,同时具备局部面部属性编辑的能力。
- CT 图像中基于 CLIP 的强健 COVID-19 检测
通过使用冻结的 CLIP 图像编码器和可训练的多层感知器(MLP),本研究提出了第一个轻量级检测器,旨在克服医学成像领域,特别是 COVID-19 检测领域所面临的诸多挑战,如广泛的计算资源、缺乏良好注释的数据集和大量未标记的数据。此外,我 - 面向高效和有效的推荐算法大型语言模型去学习
E2URec 是首个高效和有效的语言模型推荐系统遗忘方法,通过更新参数和采用师生网络架构实现推荐数据的忘记,以优化隐私保护和模型性能。
- AAAINightRain:夜间视频除雨基于自适应除虹和自适应校正
该研究介绍了 NightRain,一种新颖的夜间视频去雨方法,使用自适应去雨和自适应校正来处理复杂的光效影响,通过使用无标签雨天视频进行训练,达到了超越现有方法的卓越性能,PSNR 值为 26.73dB,超过了其他方法 13.7% 的幅度。
- 四足机器人在执行器退化场景中的自适应控制策略
该论文引入一种基于强化学习的先导教师 - 学生框架,称为 Actuator Degradation Adaptation Transformer(ADAPT),旨在解决实际部署四足机器人上的问题。这个框架产生了一种统一的控制策略,使机器人能 - 解决无源无监督视频域自适应的标签噪声问题
使用自主训练、伪标签、微调和师生框架等方法,这篇论文提出了解决视频领域适应性问题的方法,以在没有源数据的情况下实现源无关自适应,并取得了领先的实验结果。
- 半监督医学图像分割的备选多元教学
提出了一种多样教学方法 AD-MT,以应对当前半监督医学图像分割模型中存在的确认偏差问题。AD-MT 包括一个学生模型和两个非可训练的教师模型,通过交替地进行动量更新来促使教学多样性。通过随机切换周期、数据增强和补充数据批次,RPA 模块调 - 基于不确定性感知的远程监督命名实体识别中的教师学习和学生协同学习
提出了一种减轻标签噪声的 Distantly-Supervised Named Entity Recognition 方法,其中包括 Uncertainty-aware Teacher Learning 和 Student-student - 临时教师切换半监督语义分割
该研究论文介绍了一种名为双教师的简单而有效的方法,利用双临时教师解决了学生和教师权重耦合的问题,通过定期生成伪标签训练学生模型并保持不同特征,以显著缩短训练时间,并证明了该方法适用于各种模型。
- 基于竞争集成师生框架的半监督左心房 MRI 分割
本文提出了一种简单而高效的竞争集成教师学生框架,用于从 3D MR 图像中半监督地分割左心房,通过利用无标记数据并提供可靠信息给教师模型,以实现不同学生模型之间的协作学习并达到更好的性能。通过在公开 Left Atrium(LA)数据集上评 - 通过离开一个样本集合在语言模型中遗忘私密文本序列
利用教师 - 学生框架和新的留一出集成方法,我们在语言模型中删除个人信息,在隐私与实用性之间实现卓越的平衡。
- 中文对话中的主题转换检测:语料库和基准
本文提出了基于分层对比学习的师生框架来预测没有响应的话题转移,并在中文自然对话话题语料库上进行了实验,结果表明该模型的有效性。
- CVPR3D 半监督目标检测的分层监督和洗牌数据增强
介绍了一种新颖的 hierarchical supervision 和 shuffle data augmentation 方法,它通过设计动态双阈值策略产生更合理的监督信号来加强学生网络的训练,并通过洗牌数据增强策略来增强学生网络的功能特 - ICLR带有不完美在线演示的保护策略优化
本文介绍了一种名为 Teacher-Student Shared Control (TS2C) 的离线增强学习算法,该算法基于轨迹价值估计,在保证安全性的同时,有效地控制了探索过程并成功地将不同性能水平的教师智能体纳入学生智能体的训练。
- AAAI使用自适应教师学习和细粒度学生集成的远程监督命名实体识别
本文提出了一种适应性教师学习和细粒度学生集成的神经网络模型,用于解决 Named Entity Recognition 中远程监督训练数据不足和训练标签不准确的问题,实验证明该方法显著优于现有的最佳方法。
- ACL基于历史答案的开放领域问答对话系统
本文提出了 ConvADR-QA,该方法在 Open-domain conversational question answering 中使用历史答案来提高文本检索和回答效率。通过引入 teacher-student 框架来减少上一轮的噪声 - EMNLP多语言语言模型预训练的语义知识多级蒸馏
本论文提出了一种新的多层次多语种知识蒸馏方法(MMKD),采用英语 BERT 中的丰富语义表征知识和师生框架来鼓励源 - 目标对之间的多个层次一致性和教师和学生模型之间的相关相似性,以提高预先训练的多语种语言模型的性能。在横跨语言的评价任务 - 通过交替教学减少语言模型中意外记忆
提出了一种新的交替教学方法来减少语言模型在训练集中记忆罕见或独特序列而导致泄漏用户数据的现象,该方法采用多个教师模型对各自独立的训练集进行训练,并以教师模型预测结果作为学生模型的监督信号,实验结果表明这种方法达到了比其他方法更好的隐私保护效