downstream tasks | BriefGPT

关键词downstream tasks

搜索结果 - 462

CVPR准确解释对下游任务的真正含义
我们在该研究中探索了草图的独特模态来增加可解释性，强调人类笔画相对于传统面向像素的研究的深远影响。我们提出了一个轻量级且便携的可解释性解决方案 —— 一种无缝插件，可以与任何预训练模型无缝集成，并消除了重新训练的需求。我们通过展示四种应用程
PDF4 months ago
COLING语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库
经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。
PDF4 months ago
GuideGen: 用于联合 CT 体积和解剖结构生成的文本引导框架
本研究提出了一种生成医学图像数据集的管道，通过生成神经模型生成 CT 图像和组织掩码，从而为下游任务提供潜在益处。
PDF4 months ago
基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法
该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。
PDF4 months ago
使用顺序指令对大型语言模型进行微调
大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源 LLMs（如 LLaMA
PDF4 months ago
学习带有噪音基础模型
该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。
PDF4 months ago
香草变形器是传输能力教师
近期，混合专家 (MoE) Transformer 因其在模型容量和计算效率方面的优势而备受关注。然而，研究表明，在许多下游任务中，MoE Transformer 表现不及普通 Transformer，显著降低了 MoE 模型的实用价值。为
PDF4 months ago
AAAI重新审视解开下游任务中的必要性：对抽象视觉推理的研究
研究表明，对于下游任务而言，维度上解耦表示是不必要的，而表示的信息性比解耦性更好地预示了下游任务的性能。
PDF4 months ago
视觉语言模型泛化的不变测试时间适应
通过测试时间提示调整范式优化学习提示的方式，该方法在下游任务中成功地减轻了依赖于潜在具有误导性的与任务无关的上下文信息，同时强调关键的与任务相关的视觉线索。
PDF4 months ago
AAAICOSMIC: 任务无关摘要评估的互信息
我们提出了一种新颖的面向任务的评估方法，评估摘要生成器的质量，同时保持任务成果；我们在理论上建立了任务结果的错误概率与源文本和生成摘要之间的互信息之间的直接关系；我们引入了 COSMIC 作为这一度量的实际实现，证明其与人类判断基于度量的密
PDF4 months ago
CVPRVideoMAC: 视频蒙版自动编码器与卷积神经网络相遇
这篇论文介绍了一种名为 VideoMAC 的新方法，结合了对视频帧进行对称遮罩的视频自编码器和资源友好的 ConvNets，以及一种称为 MVM 的简单而有效的遮罩视频建模方法，通过在下游任务中的表现超过了基于 ViT 的方法。
PDF4 months ago
使用多级优化的掩码自编码器中的下游任务引导掩码学习
Multi-level Optimized Mask Autoencoder (MLO-MAE) is a novel framework for visual representation learning that leverages
PDF4 months ago
电子显微镜的自监督学习：面向高级图像分析的基础模型
通过自监督学习从未标记的电子显微镜数据集中提取关键信息，并展示了自监督预训练在语义分割、去噪、去除噪音和背景、超分辨率等多个下游任务中的优势，尤其对于有限的标注数据和计算成本的高效扩展，通过实验证明了自监督预训练的灵活性和可靠性。
PDF4 months ago
COLING基于算法问题的 GPT-4 评测：对提示策略的系统评估
GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。
PDF4 months ago
CLAP: 利用自然语言监督学习可转移的二进制码表示
利用对二进制代码进行对比学习，提高其在迁移学习中的性能，通过对齐二进制代码和自然语言解释来生成更好的嵌入表示，而无需特定任务的训练。
PDF4 months ago
大型语言模型能否像人类一样回忆参考位置？
本文研究了利用大型语言模型（LLMs）预训练阶段存储的参数化知识，独立地从任意起始位置检索参考段落的方法，并提出了一个模拟人类检索易被遗忘参考的两阶段框架。实验证明，LLMs 能够独立检索各种任务形式中的参考段落位置，并且获取的参考对下游任
PDF4 months ago
生物医学和临床预训练模型对法语长文档的适应性：一项比较研究
比较了三种适用于长序列模型的适应策略，研究结果表明，用法文生物医学文本进一步预训练英文临床模型，优于将法文生物医学 BERT 转换为 Longformer 架构或从头预训练法文生物医学 Longformer，而对于命名实体识别任务，BERT
PDF4 months ago
克服图对比学习评估中的陷阱：朝着综合基准的方向
我们的研究全面审视了自我监督学习方法的缺点，并提供了关于超参数选择和下游任务评估对图对比学习方法的影响的新观点。此外，我们引入了一个改进的评估框架，旨在更准确地评估图对比学习方法的有效性、一致性和整体能力。
PDF4 months ago
多国检索器：密集检索表示分析
压缩源文件并以（可能会有损失的）矢量表示的密集检索器将所保存的信息与丢失的信息相比，并分析其对下游任务的影响。通过在带有 25 个随机初始化的 MultiBERT 检查点上训练的 MultiContrievers，我们对密集检索器捕获的信息
PDF4 months ago
DiCoM -- 提高胸部 X 射线研究普适性的多样概念建模
Chest X-Ray used in diagnosis and prognosis of lung and heart conditions. Introducing Diverse Concept Modeling (DiCoM) f
PDF4 months ago