- 基于认知维度的篇章关系分类和跨框架篇章关系分类的实证研究
我们展示了讨论关系可以通过 Sanders 等人（2018）提出的一些简单的认知启发维度来有效地捕捉，通过这些维度，在框架之间传递讨论关系的知识是可能的，尽管两个框架在讨论划分上存在差异，这证明了这些维度在描述跨框架的讨论关系时的有效性，并 - 仅标签模型倒装攻击的知识转移
提出了一种基于标签的模型反演攻击 (LOKT) 方法，通过知识转移和代理模型，在最具挑战性的标签唯一可用的攻击设置中提高了攻击成功率，同时突出了机器学习模型面临的日益攀升的隐私威胁。
- 临床记录中的转移瘤检测的参数高效方法
此研究的目标是通过三种方法自动检测自由样式计算机断层扫描（CT）放射学报告中的转移性肝病，我们的研究表明，使用泛化语言模型、半监督学习和多任务转移学习方法可以提高模型的性能。
- 惊人的收益及其发现之处：关于任何预训练模型之间普适知识转移存在和前景
为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外 - LoRAShear: 高效的大型语言模型结构剪枝与知识恢复
大型语言模型通过高效的结构剪枝和知识迁移来减少模型规模并降低计算成本。
- EMNLP语义混淆矫正下的连续事件提取
我们提出了一种用于解决连续事件提取中语义混淆问题的新颖模型，通过为每个句子标记伪标签来缓解语义混淆，并在当前和之前的模型之间传递关键知识以提高对事件类型的理解，此外还通过利用其他关联类型来鼓励模型集中关注长尾事件类型的语义，实验结果表明我们 - ICCVDREAM+：双向代表匹配的高效数据集精炼
通过双向代表性匹配的数据集提炼策略（DREAM+），选择代表性的原始图像进行匹配，并且在不影响性能的情况下，显著减少了数据集提炼迭代的次数。
- 面向随时调优的持续预训练语言模型与超网络提示
通过超网络生成领域特定的提示，以解决一直持续预训练方法在新领域性能下降的问题，并促进跨领域的知识迁移。该方法在两个真实数据集上实现了 3.57% 和 3.4% 的改进，证明其有效性。
- 寻找神经策源地：从参数角度看大型语言模型的知识转移
通过参数的视角，本文以敏感性为基础的技术来提取和对齐不同规模的大型语言模型之间的知识特定参数，并且使用 LoRA 模块作为注入提取的知识到较小模型的中间机制，通过四个基准测试验证了我们提出的方法的有效性，突出强调了影响参数化知识传递过程的重 - 基于混合模型的继承特征强化学习在任务间的不确定性迁移
使用混合模型驱动的继任特征算法和不确定性感知探索的方法，能够在具有不同转换动力学或 / 和奖励函数的任务之间实现高效的知识传输，并且在决策时间上所需的计算量较少。通过与最近的继任特征算法和模型驱动方法进行对比，结果表明我们的算法能够在不同的 - 动态模块扩展与调整的终身序列生成
基于类人学习范式，提出了动态模块扩展和适应方法 (DMEA)，用于在连续生成任务中动态确定模型架构以获取新知识，从而在不同的 LSG 设置中明显优于现有方法。
- 混合任务连续学习的子网络发现与软遮罩
本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。
- 学习可迁移的概念原型用于可解释的无监督领域自适应
我们提出了一种名为 “可转移概念原型学习（TCPL）” 的固有可解释方法，该方法能够同时解释和改进无监督领域适应中的知识转移和决策过程，并通过学习可转移原型和设计自预测一致的伪标签策略来减小领域差距。综合实验表明，该方法不仅能提供有效而直观 - 有限域上的知识传递的基本限制
通过特权信息的不同级别，加速从教师到学生分类器的知识传递效率并且使学生能够获得课程上的优势信息。
- 从 CNN 提炼高效的视觉 Transformer 用于语义分割
我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。
- 推动 Transformer 在常识推理中的能力
介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。
- 用于阿尔茨海默病检测的转移语音通用和抑郁症特定知识
通过知识迁移（从语音通用知识和抑郁症特定知识）处理训练数据稀缺问题，完成了对阿尔茨海默病的自发语音检测和抑郁检测，并在常用 ADReSSo 数据集上获得了 0.928 的 F1 得分。
- 预训练模型是否能在数据集精炼中提供帮助？
数据集精炼（DD）是一种将大规模原始数据集的知识封装到小型合成数据集中进行高效训练的突出技术。与此同时，预训练模型（PTMs）作为知识库具有从原始数据集中获取的广泛信息。我们通过初步实验验证了 PTMs 对 DD 的贡献，然后系统研究了 P - 渐进降阶建模：以选择性知识传输强化数据驱动建模
通过减少数据需求并提高数据驱动模型的实际性，我们提出了一种渐进降阶建模框架，通过选择性地从之前的训练模型中转移有价值的知识，从而创建一个具有高准确性的代理模型。我们的研究通过缓解数据稀缺问题，解锁了数据驱动建模在实际工程应用方面的潜力，为各 - 多任务强化学习中的知识精炼优化传递
通过使用 Sinkhorn 映射来替换 Kullback-Leibler 散度，进一步提高多任务强化学习的数据效率，并通过实验证明新增的基于最优传输的奖励可以加速智能体的学习过程，优于多任务学习中的几个基准模型。