knowledge transfer | BriefGPT

关键词knowledge transfer

搜索结果 - 352

PI3D：高效的文本到 3D 生成与伪图像扩散
本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模
PDF7 months ago
X4D-SceneFormer: 通过跨模态知识迁移增强 4D 点云视频的场景理解
4D 点云理解领域中的 X4D-SceneFormer 框架通过跨模态知识传递和 Transformer 架构的时间关系挖掘，增强了 4D 场景理解，在动作识别和语义分割等各种 4D 点云视频理解任务中取得了卓越的性能，超过了最新技术水平。
PDF7 months ago
将 CLIP 的知识转化为零样本点云语义分割
本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。
PDF7 months ago
MM推荐系统中的数据稀缺现象：一项调查研究
应对推荐系统中的数据稀缺问题，本文提出了多种策略，包括数据增强、自监督学习、迁移学习、广义学习和知识图谱利用，以缓解该挑战，并深入探讨了推荐系统领域中的挑战和未来发展方向，为研究人员和实践者提供宝贵的指导和启示，最终推动推荐系统领域的进展。
PDF7 months ago
通过累积本地更新改进联邦蒸馏的通信效率
通过在学习过程中传输只有小规模知识，作为一种新兴的联合训练范式，联合蒸馏能够实现高效的模型训练。为了进一步提高联合蒸馏的通信效率，我们提出了一种新的技术，ALU，它在将知识传输到中央服务器之前累积多个局部更新轮次。ALU 显著降低了联合蒸馏
PDF7 months ago
基于相似度的知识转移用于跨领域强化学习
通过开发半监督对齐损失来匹配不同空间的一组编码器 - 解码器，本研究研究了如何衡量跨领域强化学习任务之间的相似性，以选择能够提高学习代理性能的知识源。实验结果表明，在各种 Mujoco 控制任务中，我们的方法能够有效地选择和传递知识，而无需
PDF7 months ago
开放词汇目标检测中学习超越名词概念的伪标签器
本文提出了一种简单而有效的方法，用于直接学习任意概念的区域 - 文本对齐，从而在开放词汇目标检测方面取得有竞争力的性能和在任意概念的指称表达理解方面取得显著的改进。
PDF7 months ago
高效扩展和基于梯度的任务推断，用于无回放增量学习
我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中
PDF7 months ago
利用视觉基础模型，高效训练小型任务专用模型
利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目
PDF7 months ago
ICCVICCV 2023 GeoNet 挑战赛的自训练解决方案
GeoNet 是一个最近提出的领域适应基准测试，它包含三个挑战（即 GeoUniDA，GeoImNet 和 GeoPlaces）。我们的解决方案采用了两阶段的无源领域适应框架，使用 Swin Transformer 骨干网络实现了从美国（源
PDF7 months ago
具有联合手工特征视图的双流对比预测网络用于 SAR 船舶分类
通过引入两个非对称式任务设计和虚假负样本消除模块，我们提出了一种新颖的双流对比预测网络（DCPNet），以解决现有合成孔径雷达（SAR）舰船分类技术中存在的标注数据不足和特征融合造成的冗余问题。实验结果表明 DCPNet 在有监督模型的分类
PDF7 months ago
在表示空间中消除联邦学习中的领域偏差
在统计异质场景下，我们观察到客户端上的偏倚数据领域会导致表示偏倚现象，并在本地训练期间进一步退化通用表示，即表示退化现象。为了解决这些问题，我们提出了一个通用框架 Domain Bias Eliminator（DBE）用于联邦学习。我们的理
PDF7 months ago
多源主动域转移中的领域偏移和样本不确定性重新审视
提出了一种动态集成不确定性估值框架（Detective），通过学习适应多源域的模型参数来兼容多源域的联合，综合考虑多源域与目标域之间的领域偏移，使用证据深度学习来探测信息量大的目标样本，并引入上下文多样性感知计算器来增强选定样本的多样性。实
PDF8 months ago
EMNLPLLM 辅助的半监督式提取式对话摘要
使用未标记数据进行客户 - 代理商对话的摘要生成，通过将摘要问题建模为问答问题，使用大型语言模型生成伪标签，并通过精细调整专门的聊天总结模型来有效地从大型语言模型中转移知识。
PDF8 months ago
面向物联网入侵检测的开放式蒲公英网络
通过无监督异构领域适应的开放集合蒲公英网络（OSDN）模型，从知识丰富的源网络入侵领域转移入侵知识到数据稀缺的目标物联网入侵领域，旨在提高入侵检测的准确性并发现新出现的目标领域入侵，实现了目标域与源域之间的知识转移。综合实验验证了 OSDN
PDF8 months ago
FOAL：面向跨域方面情感三元组抽取的细粒度对比学习
在跨领域情感三元组提取（ASTE）中，我们提出了一种名为 Fine-grained cOntrAstive Learning（FOAL）的方法，通过减少领域之间的差异并保留每个类别的可辨识性，有效地在领域之间转移知识并准确提取情感三元组，实
PDF8 months ago
多模态 Transformer 改进单模态推理
通过多分支架构和多模态训练，本文提出一种改进单模态模型性能的方法，通过多任务目标，强大的多模态分支将其知识传递给较弱的单模态分支，从而提高了单模态模型的性能。该方法在手势识别、情感识别和情感分析任务上优于传统训练的单模态模型，并观察到优化单
PDF8 months ago
跨异构特征空间的表格式少样本泛化
对于标签数据集，目前还未深入探索少样本学习。现有的少样本学习方法不适用于标签数据集，因为其存在不同的列关系、意义和排列不变性。为了解决这些挑战，我们提出了一种名为 FLAT 的新型标签少样本学习方法，涵盖了异构特征空间下数据集之间的知识共享
PDF8 months ago
pFedES: 模型异构个性化的联邦学习与特征提取器共享
提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。
PDF8 months ago
基于认知维度的篇章关系分类和跨框架篇章关系分类的实证研究
我们展示了讨论关系可以通过 Sanders 等人（2018）提出的一些简单的认知启发维度来有效地捕捉，通过这些维度，在框架之间传递讨论关系的知识是可能的，尽管两个框架在讨论划分上存在差异，这证明了这些维度在描述跨框架的讨论关系时的有效性，并
PDF8 months ago