knowledge transfer | BriefGPT

关键词knowledge transfer

搜索结果 - 349

探索基础模型在眼底图像上的迁移性：应用于高血压性视网膜病变
使用基于 Imagnet 预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而，相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前，适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过 CGI-
PDF5 months ago
知识库完成模型的预训练与诊断
介绍并分析一种无需实体或关系匹配将一个事实集合中的知识转移到另一个集合的方法，该方法对规范化知识库和非规范化或开放式知识库都适用。通过在无结构文本中收集的大规模预训练的事实，改进了对特定领域的结构化数据的预测，并通过实验验证了该方法在小数据
PDF5 months ago
DAPT：用于大型语言模型参数高效持续学习的双重注意力框架
提出一种新颖的双注意力框架（DAPT），通过双注意力学习和选择模块，对鲁棒性防止灾难性遗忘和促进知识迁移的能力进行了优化。对两个持续学习基准进行了大量实验，证明了 DAPT 相比于现有的方法在抵抗灾难性遗忘和促进知识迁移方面的优越性。此外，
PDF6 months ago
通过学习基因传递核心知识
通过模仿自然基因的结构，我们采用名为 “learngene” 的新概念，并提出一种名为遗传传输学习（GTL）的框架，将有机体的进化过程复制到神经网络中。我们成功提取了 VGG11 和 ResNet12 的 learngenes，并证明了通过
PDF6 months ago
基于 CSI 图像的少样本元学习的动态室内指纹定位
利用一种数据高效的元学习算法，本文提出了一种创新的室内定位方法，解决了指纹定位在数据获取成本高和基于静态数据库估计的不准确性方面的问题。使用历史定位任务改善适应性和学习效率，在动态室内环境中采用 “学习如何学习” 的元学习范式。我们引入了任
PDF6 months ago
通过利用目标观点进行跨目标立场检测
本文提出了一种多角度提示调整模型（MPPT）用于跨目标立场检测（CTSD），利用分析视角作为知识转移的桥梁，通过提供多视角的自然语言解释来融合到立场预测中，实验证明了 MPPT 在 CTSD 任务中的优越性。
PDF6 months ago
无监督的联邦域自适应用于 MRI 图像分割
使用深度神经网络进行磁共振成像（MRI）图像的自动语义分割极大地辅助于评估和规划各种临床应用的治疗。然而，训练这些模型要求具备丰富的注释数据来实施端到端的监督学习过程。即使我们注释了足够多的数据，由于患者、MRI 扫描仪和成像协议的差异等因
PDF6 months ago
基于自监督学习和无关条件的事件与框架关联性研究，实现无监督领域适应
基于事件的相机通过无监督域自适应和自监督学习，凭借帧基相机数据中的注释信息来适应未标注的事件数据，并成功实现知识转移，为利用深度学习进行事件视觉任务提供了有效的解决方案。
PDF6 months ago
具有新类增强式自蒸馏的联邦增量学习
我们提出了一种新颖的联邦类增量学习方法（FCIL），命名为具有新类增强的自我蒸馏（FedNASD）。FedNASD 通过将当前模型推断的新类分数与历史模型的预测相结合，基于过去和现在的知识，它在客户端上进行自我蒸馏，旨在实现从历史模型到当前
PDF6 months ago
跨模态渗透的平衡多模态联邦学习
通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。
PDF6 months ago
AAAI通用类别发现的转移和对齐网络
广义类别发现任务中，传统方法在已知类别上的表现较好，但在新颖类别上表现不佳。为了减轻这两个问题，我们提出了一种转移和对齐网络 (TAN)，它包含两种知识转移机制来校准偏倚知识和两种特征对齐机制来学习判别特征。我们的结果显示，我们的模型在新颖
PDF6 months ago
AAAI学习触发开放世界持续学习的知识传递
这篇论文研究了持续学习在开放世界场景中的问题，即开放世界持续学习（OwCL）。作者提出了一种新的 Prompt 增强的知识转移模型 Pro-KT，该模型通过 Prompt 库对任务通用和任务特定知识进行编码和转移，并通过任务感知的开放集边界
PDF6 months ago
AAAIFM-OV3D：面向开放词汇的基于基础模型的跨模态知识融合的 3D 目标检测
基于各种基础模型的跨模态知识融合方法可以提高 3D 模型的开放性词汇能力，并成功实现了在开放性 3D 目标检测任务中领先的性能。
PDF6 months ago
AAAIZero-1-to-3：通过一批初来的学生实现领域级零射击认知诊断达到三个诊断目标
通过预训练诊断模型并使用双重正则化器，将学生状态分解为域共享和域特定部分，以实现领域级零样本认知诊断的目标。同时，分析先行学生的行为模式生成模拟练习日志，使得冷启动学生的认知状态经过虚拟数据的精炼后能够用于诊断，弥合了领域适应的目标。研究结
PDF6 months ago
社会学习：朝着与大型语言模型进行合作学习
在大型语言模型（LLMs）中，介绍了 “社交学习” 的框架，其中模型通过自然语言以隐私保护的方式共享知识。我们提出并评估了两种 LLMs 之间的知识传递方法，第一种情景中，模型生成抽象提示用于教授任务，而我们的第二种方法中，模型通过生成合成
PDF7 months ago
多语言场景文字识别中的跨语言学习
我们研究多语种场景文本识别的跨语言学习，并发现重要的条件是高资源语言的数据集大小，无论高资源语言的种类如何。
PDF7 months ago
FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习
提出了一种名为 Federated Semantic Similarity Aggregation (FedSSA) 的方法，利用语义相似性来实现 FL 中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性
PDF7 months ago
PI3D：高效的文本到 3D 生成与伪图像扩散
本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模
PDF7 months ago
X4D-SceneFormer: 通过跨模态知识迁移增强 4D 点云视频的场景理解
4D 点云理解领域中的 X4D-SceneFormer 框架通过跨模态知识传递和 Transformer 架构的时间关系挖掘，增强了 4D 场景理解，在动作识别和语义分割等各种 4D 点云视频理解任务中取得了卓越的性能，超过了最新技术水平。
PDF7 months ago
将 CLIP 的知识转化为零样本点云语义分割
本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。
PDF7 months ago