knowledge transferability | BriefGPT

关键词knowledge transferability

搜索结果 - 10

重建之前查询：分解提示协作的持续性缺失模态学习
通过 Continual Missing Modality Learning（CMML）任务，我们引入了一种名为 Reconstruct before Query（RebQ）的框架，通过重建缺失的多模态数据和增强预训练模型的知识传递能力，有
PDF4 months ago
EMNLP语言表征投射：我们能在多语言语言模型中跨语言转移事实知识吗？
通过两个无参数的语言表示投影模块（LRP2），本文调查了从英语到非英语语言的显式传输相对丰富的事实知识的可行性，并在 mLAMA 数据集上的实验结果证明了 LRP2 显著提高了事实知识检索精度，促进了对多种非英语语言的知识传递能力。
PDF8 months ago
跨图动态迁移学习
该研究提出了一个动态传输学习框架 DyTrans，使用基于 transformer 的时间编码模块建模动态域的时间信息，设计了动态域统一模块跨源和目标域高效地学习域不变特征，并在多个实际数据集上展示了 DyTrans 在从动态源域到动态目标
PDFa year ago
ICLR使用预训练视觉语言模型的医学图像理解：一项全面研究
本文通过研究预训练视觉语言模型在医学图像领域的知识传递能力，发现合理设计的医学提示语是调用预训练模型知识的关键。通过使用在领域间共享的表达属性提示，可实现知识跨越领域，改进泛化能力，对新对象的识别有所优化。此外，通过自动化生成医学提示的三种
PDF2 years ago
学得越多未必越好：视觉与语言任务中的知识可迁移性
研究在多模态任务中知识转移性，以探讨是否将不同任务的数据集合并来训练视觉 - 语言模型一定能提高它们的整体表现。通过对 12 项视觉 - 语言任务进行数百次交叉实验分析，发现不是所有的知识都能有益于相关任务，在同一组任务中却容易相互改进，而
PDF2 years ago
IJCAI一种统一的元学习框架用于动态迁移学习
本文研究了一种更为现实和具有挑战性的转移学习设置，其中源任务和目标任务在时间上不断变化，我们提出了一个基于元学习的通用框架 L2E，它能够有效地在动态任务之间传递知识、快速适应新目标任务、减轻历史目标任务的灾难性遗忘，并且可灵活地结合任何现
PDF2 years ago
利用渐进式层丢弃加速基于 Transformer 的语言模型训练
本文提出了基于渐进式层丢弃的方法，通过模型结构和训练技术的提升效率，加速了基于 Transformer 的语言模型的训练，相较于基准实验可以在每个样本上平均节省 24% 的时间，让预训练速度提高 2.5 倍，同时保持强的知识可迁移性。
PDF4 years ago
ICML揭示对抗可迁移性与知识可迁移性之间的关联
本文分析传递学习（knowledge transferability）与对抗可迁移性（adversarial transferability）之间的相互作用，并提出两种实用的对抗可迁移性度量，通过广泛的实验证明了对抗可迁移性与知识可迁移性之
PDF4 years ago
区分性特征对齐：通过高斯引导的潜在对齐提高无监督领域自适应的可传递性
该研究关注无监督域自适应问题，提出了一种基于高斯引导潜在对齐方法，通过先验分布间接对齐两个域的潜在特征分布来提高特征对齐性和实现知识转移，并在九个基准数据集上取得了优秀表现。
PDF4 years ago
CVPRDEPARA：深度归因图用于深度知识可转移性
本文提出了 DEeP Attribution gRAph（DEPARA）来分析 PRe-trained Deep Neural Networks 中所学习的知识传递能力，应用于先前研究中很少探索的预训练模型选择和层选择问题，并进行了广泛的实
PDF4 years ago