downstream tasks | BriefGPT

关键词downstream tasks

搜索结果 - 460

CVPRGLID：预训练通用编码 - 解码视觉模型
该论文提出了一种用于处理各种下游计算机视觉任务的 GeneraLIst 编码器 - 解码器（GLID）预训练方法。GLID 通过在各种视觉任务上微调预训练的通用编码器 - 解码器，并最小限度地修改任务特定的架构，在预训练 - 微调体系结构不
PDF3 months ago
具有重构预训练和异质性抗干扰调节的统一多模式诊断框架
提出了一种统一的医学多模态诊断 (UMD) 框架，包括量身定制的预训练和下游调优策略，以解决医学多模态预训练面临的数据和模态异质性挑战，在五个公共医学数据集上的广泛实验表明我们的 UMD 框架在三种下游任务上显著优于现有方法。
PDF3 months ago
星系图像的尺度律
我们首次系统研究了在星系图像上监督扩展定律的问题。使用了 840k 个星系图像和超过 1 亿个由 Galaxy Zoo 志愿者注释的图像，与 Imagenet-1K 的规模相当。我们发现添加注释的星系图像可以在所有架构和所有任务上提高性能，
PDF3 months ago
ACL铺设锚点：语言建模中数字的语义启发
通过生成受语料库中数字分布控制的锚点，我们引入了一种在任何语料库中语义化编码数字的策略，从而能够提供这些数字标记的数学基础表示。通过对一系列涉及从 1 到 10 亿的数字的数学任务的评估，我们证明了我们提出的技术的优越性，并展示了我们所学嵌
PDF3 months ago
巧妙之道：利用下游分析能力导航大型语言模型预训练
通过详细分析不同预训练模型中的不同能力表现，我们确认了特定下游指标在不同大小的模型中展示相似的训练动态，多达 670 亿参数。此外，我们还复现了 Amber 和 OpenLLaMA，并发布了它们的中间检查点，以为研究界提供宝贵的资源，促进对
PDF3 months ago
根据要求进行设计：利用视觉问答进行多模态预训练
我们利用多模态预训练中的视觉问题回答（VQA）指导框架，聚焦目标病理特征，通过医学报告中的描述设计了关联不同疾病的多粒度问题 - 答案对，并提出了一种基于准文本特征变换的新型预训练框架，将视觉特征转化为接近文本领域的准文本空间，缩小了视觉
PDF3 months ago
CVPRMTLoRA：一种用于高效多任务学习的低秩适应方法
本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL
PDF3 months ago
SG-PGM: 3D 场景图对齐的语义几何融合的部分图匹配网络及其下游任务
3D 场景图对齐是一个部分的图匹配问题，我们提出了使用图神经网络来解决它，通过将点云注册方法学习的几何特征与节点级语义特征关联，实现了部分匹配，并通过运行预训练的注册网络在匹配区域内实现了点云注册等下游任务。我们还提出了一种点匹配重新评分方
PDF3 months ago
稀疏特征电路：在语言模型中发现和编辑可解释性因果图
我们引入了一种发现和应用稀疏特征电路的方法，这些电路是人可解释特征的因果相关子网络，用于解释语言模型的行为。与以前的工作中的电路相反，稀疏特征电路基于细粒度单元，可以提供对预期之外的机制的详细理解，并且在下游任务中非常有用。我们介绍了 SH
PDF3 months ago
HealthGAT: 使用图注意力网络对电子健康记录进行节点分类
利用图注意力网络和医学代码，通过定制电子健康记录（EHR）的预训练任务，HealthGAT 模型对 EHR 进行细化嵌入，实现了对复杂医学关系的全面分析，并在节点分类、再入院和诊断分类等下游任务中显示出优越性能。
PDF3 months ago
双向一致性模型
扩散模型及一致性模型结合的双向一致性模型能够通过学习单个神经网络在概率流常微分方程上实现向前和向后遍历，从而实现一步生成和反演，且可用额外步骤提高生成质量或减少重建误差，并在插值、修复等下游任务中展现出强大的能力，包括恢复压缩图像和抵御黑盒
PDF3 months ago
自校正扩散采样与扰动注意力引导
基于扩散模型的采样指导技术在无条件生成和各种下游任务中限制较多，本研究提出一种称为 Perturbed-Attention Guidance (PAG) 的新型采样指导方法，通过渐进式增强样本结构，改善扩散采样的质量，并在条件和无条件场景下
PDF3 months ago
BERT 模型中的注意力分数对 GLUE 基准上的句法和语义任务中的词类意识研究
本研究通过对 BERT 模型进行细调过程中，考察词汇类别对注意力分数的影响，进一步验证了重点语义信息的下游任务中注意力分数主要集中在内容词上的假设，并揭示了 BERT 层对特定词汇类别具有一致偏好的存在。
PDF3 months ago
从损失的角度理解语言模型的新能力
通过预训练损失来重新定义新能力，发现较低预训练损失的模型呈现出的性能趋势不可被简单地推断，表现出较高的新能力。
PDF3 months ago
评估预训练句子嵌入的无监督降维方法
使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了
PDF3 months ago
MTP: 通过多任务预训练推进遥感基础模型
本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过 14 个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越
PDF3 months ago
负债正向：统一的双路径适配器用于视觉 - 语言模型
我们通过引入双向学习的概念，创新性地将其应用于微调视觉 - 语言模型，并提出了一种新颖的 DualAdapter 方法，通过同时进行正向选择和负向排除来提高 VLM 在下游任务中的识别准确性。在 15 个数据集上的广泛实验结果验证了所提出的
PDF3 months ago
ICLR非负对比学习
通过非负对比学习（NCL），我们提出非负矩阵分解（NMF）的新应用，旨在提取可解释的特征，在数学上与 NMF 目标保持一致，不仅在特征区分度、特征选择方面表现出众，而且在下游分类任务中表现优异。
PDF3 months ago
CVPR准确解释对下游任务的真正含义
我们在该研究中探索了草图的独特模态来增加可解释性，强调人类笔画相对于传统面向像素的研究的深远影响。我们提出了一个轻量级且便携的可解释性解决方案 —— 一种无缝插件，可以与任何预训练模型无缝集成，并消除了重新训练的需求。我们通过展示四种应用程
PDF4 months ago
COLING语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库
经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。
PDF4 months ago