- AstMatch:用于半监督医学图像分割的对抗自训练一致性框架
在本研究中,我们提出了一种对抗自我训练一致性框架 (AstMatch),通过设计对抗一致性正则化方法增强知识传递,并在不同扰动强度下增强预测一致性,应用特征匹配损失进行对抗训练以获得高层一致性正则化,并引入金字塔通道注意力和高效通道空间注意 - 一位教师胜过百万句指令
我们提出了一种改进的训练方法,使用更大的模型的知识来提高大型语言模型的训练效果,同时利用领域专家模型进行领域对齐,通过这种方法,在性能上超过了具有更大参数数量的现有语言模型。
- 学它或者离开:模块组合与修剪的连续学习
MoCL-P 是一种轻量级的持续学习方法,通过任务表示引导模块组合和自适应修剪,同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战,且在三个持续学习基准测试中达到了最优性能,提高了参数效率,展示了在资源受限的实际应用中的潜 - 跨领域推荐系统中的双曲知识传输
本研究介绍了一种名为 HCTS 的新框架,用于捕捉不同领域的独特特征,实现领域间的高效知识传递,并通过将用户和物品分别嵌入不同具有可调节曲率的双曲流形来预测,从而改善目标领域用户和物品的表示。实验结果表明,双曲流形对于跨领域推荐任务是一种有 - EMNLP基于因果发现的无监督领域自适应情感因果对提取
本文提出了一个基于深度潜变量模型和变分自编码器(VAE)框架的新方法,用于在无监督域适应设置中提取情感 - 原因对。通过利用情感作为桥梁,将不同域中事件的分布联系起来,并采用变分后验正则化技术来降低源域中与事件相关的虚假相关性,从而促进跨域 - 深度无处不在:通过透视蒸馏和无标签数据增强提升 360 度单目深度估计
360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的,本研究提出了一种使用未标记 360 度数据的深度估计框架,通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度,并在深度估计的准确度上展示了显著改进,特别 - 巨人的肩膀上:动态逻辑融合实现轻弱到强强的过渡
通过使用逻辑融合方法,将专家模型的专业知识传递给更大的模型,从而实现高效的对大语言模型进行定制化微调。
- ACL文本分类的自我调节无数据知识融合
该论文提出了一种轻量级的学生网络,通过多个预训练模型进行知识传递,以在无法访问原始训练数据的情况下训练一个高效的学生模型。使用提出的 STRATANET 建模框架,该方法在不同的文本分类数据集上得到了显著优于其他基准方法的结果,同时满足数据 - 实体和事件级概念化在可推广推理中的作用:任务、方法、应用及未来方向综述
本研究综述了 150 + 篇论文,对概念化的定义、执行、应用以及相关的资源方法和下游应用进行了综合分类,特别关注实体和事件层面,在此基础上,我们揭示了该领域的未来发展方向,并希望得到社区更多的关注。
- BertaQA:语言模型对本地文化了解多少?
大型语言模型在全球范围或以英文为中心的主题上表现出广泛知识,但对于在网上不那么突出的其他文化相关主题表现如何仍存在疑问。通过引入英文和巴斯克文平行的选择题数据集 BertaQA,我们发现一流的大型语言模型在本地文化知识上表现出困难,但持续的 - 使用未标记数据增强离线强化学习
该研究提出了一种解决离线强化学习中的 OOD 问题的新方法,通过引入离线强化学习师生框架和策略相似度度量,使得学生策略不仅可以从离线数据集中获取见解,还可以从教师策略传递的知识中获得额外的信息,从而有效解决 OOD 问题。
- 决策 - 注意力的在线策略蒸馏
通过引入决策 - 注意力模块,我们提出了一种在线学习框架,不依赖于教师策略,能够在相同环境下不同策略之间转移知识,提高深度强化学习任务的性能。实验证明,我们的方法在不同任务中,相比于独立训练策略,在 PPO 和 DQN 算法上表现更好,有效 - 穿越荆棘:基于随机森林模型的数值导向 LLMs 研究
通过从随机森林集成学习模型转移知识,本研究提出了一种训练大型语言模型的新方法,通过将随机森林决策路径转化为自然语言表达,提高了模型分类和解释决策的能力,并验证了这些规则对于分类准确性的影响。
- 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用
本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性,特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构,通过整合从教师模型获取的知识表示来提高学生模型的性能,并通过大量 - FedMKT:大型和小型语言模型的联邦互助知识传输
FedMKT 是一个参数高效的联邦互相知识转移框架,旨在同时改进服务器端和客户端的大型和小型语言模型,并通过最小编辑距离实现令牌对齐和选择性的互相知识转移,在各种 NLP 文本生成任务中显著提高客户端的小型语言模型性能,并通过 FedMKT - 连续视觉里程计中遗忘和迁移的实证影响
研究通过在具体环境中连续训练神经网络来实证调查了灾难性遗忘的影响及知识转移的有效性,重点关注视觉测距任务,并发现在环境特定知识优先的同时导致泛化能力下降,强调了在终身机器人学中平衡适应和记忆保留的挑战。
- 跨多领域标签的混合学习视频时刻检索
用混合学习的方法,从全监督的源领域迁移到弱标记的目标领域,提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA),实现跨模态匹配信息共享和多模态特征对齐,优化领域不变的视觉和文本特征,以及具有判别性的联合视频和文本表示。实 - 解耦和减轻任务相似性对于持续学习的影响
连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。
- CVPRPTM-VQA: 从各个方面利用多样化的预训练模型来进行高效视频质量评估
本文介绍了一种名为 PTM-VQA 的视频质量评估方法,利用预训练模型从不同方面为 VQA 带来益处,并提出了 ICID 损失和有效的候选模型选择方案,实验证明了该方法的有效性。
- ICMLFlashST: 一个简单且通用的交通预测快速调整框架
本文介绍了一种简单且通用的时空提示调整框架 - FlashST,用于适应多样化下游数据集的特定特征,提高各种交通预测场景的泛化能力,并通过包含分布映射机制来实现预训练数据和下游数据的有效知识传递,通过对多样化城市数据集进行实证评估,验证了