- 大型语言模型中的跨语言迁移学习动态数据采样器
提出 ChatFlow 模型,通过跨语言迁移实现了大规模中文语言模型的高性能训练,包括大型语料库的收集与资源的利用、对齐跨语言表示以促进知识转移、使用动态数据采样器渐进式地将模型从无监督预训练过渡到有监督微调,实验证明了该方法在加速模型收敛 - 大规模视频对象分割中的全局动作理解
通过在动态视频的对象分割中集成场景全局运动知识,我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构,利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时,我们使用 - 高阶邻域信息更多:超图学习与无源无监督域自适应
提出了一种新的基于超图学习的无源无监督领域自适应方法,通过探索多个样本之间的高阶邻域关系和考虑域偏移效应,实现了对目标样本的分类,并在多个数据集上进行了广泛实验验证。
- 穿越博斯普鲁斯海峡:通过低资源语言适应和基准测试推进土耳其大型语言模型
通过研究低资源语言,对训练策略、模型选择、数据可用性和知识传递等问题进行深入分析,以进一步推进低资源语境下大型语言模型 (LLMs) 的发展,使自然语言处理 (NLP) 的益处更广泛可及。
- FedProK: 基于样本原型特征知识迁移的可信联邦增量学习
Federated Class-Incremental Learning (FCIL) aims to improve trustworthiness by transferring knowledge using FedProK, a m - TIPAA-SSL: 基于自监督学习和知识迁移的文本无关电话音频对齐
基于音素识别、表示学习和知识迁移,本文提出了一种新颖的文本无关音频对齐方法,利用自监督模型、维度降低模型和基于帧级音素分类器的强制对齐标签来产生多语言语音学表示,取得了优于传统方法的统计指标表现,在语言学习和语音处理系统中有应用意义。
- ACL未知文字:脚本对跨语言迁移的影响
探索预训练模型的源语言对跨语言转移性能的影响,发现与脚本共享、语言类型匹配和模型大小相比,分词器是更重要的因素。
- 上下文相关:利用时空元数据进行遥感图像的半监督学习
利用时空元信息提高伪标签的质量以及最终模型的性能,我们提出了一种名为时空半监督学习(Spatiotemporal SSL)的框架,通过在训练集上仅将元信息应用于教师模型以改善伪标签的质量,使学生网络在测试时对时空变化具有不变性,并引入了一种 - 深度增强学习:一种全新的图像文本匹配协作方法
图像 - 文本匹配仍然是一项具有挑战性的任务,由于模态之间异构的语义多样性和三元组内不足的距离可分性。与之前的方法不同,我们旨在通过增强聚类方法中的知识转移来寻求更强大的匹配模型。具体地说,我们提出了一种全新的深度增强学习(DBL)算法,其 - 迁移学习增强的单选决策用于多选题答题
该研究论文以多选机器阅读理解为主题,使用预训练语言模型作为编码器,并通过微调来分享和传递知识。通过训练二元分类,将多选问题转换为单选问题,并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识,提出的方法摆脱了多选框架,并可以 - 跨领域强化学习的知识迁移:系统综述
通过对跨领域强化学习的了解和分类,以及对数据假设需求进行特征分析,本文全面系统地介绍了不同领域知识传递方法的研究,讨论了交叉领域知识传递的主要挑战以及未来研究方向。
- 面向有效的 VNF 分析的联邦传输组件分析
本文提出了一种基于联邦传输组件分析的方法,通过训练生成对抗网络模型并使用已有和目标虚拟网络功能的数据,实现了资源消耗的预测,同时保护数据隐私。实验结果表明,该方法能有效地减少回归模型的均方根误差指标,并提高决定系数度量值。
- 延迟瓶颈化:缓解预训练图神经网络中的遗忘
传统的预训练和微调流程中的遗忘现象可能对下游任务产生不利影响,因此我们提出了一种新颖的延迟瓶颈预训练(DBP)框架,通过抑制压缩操作并延迟至微调阶段来尽量保持潜在表示与训练数据之间的互信息,以确保压缩能够由有标签的微调数据和下游任务进行引导 - 神经元专业化:利用内在任务模块化实现多语言机器翻译
通过神经元特化,提出一种解决多语言翻译中干扰和促进知识转移的方法,并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。
- FedDistill: 全局模型蒸馏以消除非独立同分布联邦学习中的局部模型偏差
FedDistill 是一个增强全局模型与本地模型之间知识传输的框架,专注于解决非均衡类分布的问题,通过群体蒸馏并将全局模型分解为特征提取器和分类器,确保本地模型不会忘记低频类别,而是更擅长准确识别和分类,通过全面实验验证了 FedDist - SIGIR通过层次子空间解缠交叉领域推荐的联合可辨识性
为有效实现跨领域知识传递,本研究从因果学的角度出发,提出一种分层子空间解缠方法(HJID),以探索跨领域联合分布的联合识别性,并保留特定领域行为和域共享要素。实验证明,HJID 在一系列强相关和弱相关跨领域推荐任务中优于现有方法。
- 代码语言模型中强化的类型预测激活控制
通过激活控制技术,我们可以提高编程预训练模型的鲁棒性,使其在语法上更加灵活,进而提高类型预测的准确性,并揭示了预训练模型可能在不同编程语言之间进行类型知识迁移的可能性。
- 基于数据驱动的批量 $Q^*$ 学习中的知识传递
在数据驱动的决策制定中,通过利用现有企业的大量数据来导航高维特征空间,解决新企业中数据稀缺问题,在动态决策制定中探讨知识转移,并通过马尔可夫决策过程的角度形式定义任务差异,提出了具有通用函数逼近的转移拟合 Q - 迭代算法框架,可直接估计目 - COLING留意你的邻居:利用类似实例进行法律文件的修辞角色标注
通过提出适用于法律判决的修辞角色标签(RRL)的新技术,利用来自语义上相似的实例(邻居)的知识,加强了 RRL 的性能,并通过推理和训练方法,结合 prototypical learning 和新颖的基于话语的对比方法,在嵌入空间上直接工作 - 无需排练的模块化和组合式连续学习语言模型
MoCL 是一种无需复习的模块化和组合的连续学习框架,通过不断向语言模型添加新模块并与现有模块组合,有效地促进知识传递。