downstream tasks | BriefGPT

关键词downstream tasks

搜索结果 - 459

将 WavLM 应用于语音情感识别
最近，人们对语音自我监督模型（SSL）在下游任务中的使用越来越关注。在大规模预训练模型通常优于从头开始训练的较小模型的情况下，人们对最佳微调策略的问题仍然很普遍。本文中，我们探讨了 WavLM Large 模型在 MSP Podcast C
PDF2 months ago
大型语言模型中的子人口结构发现作为数据集分析师：以 LLM 为例
探索数据集的子群体分布并应用于各种下游任务，介绍了子群体结构的概念及其在大型语言模型中的分析框架以及应用于数据集子群体组织、子群体迁移和切片发现等任务的完整工作流程。
PDF2 months ago
ICLR远程感知中高效的谐调迁移学习与模态对齐
通过采用 “Harmonized Transfer Learning and Modality Alignment (HarMA)” 方法，本研究在遥感领域中实现了优异的性能，同时最小化了训练开销，通过满足任务约束、模态对齐和单模态统一对齐
PDF2 months ago
为文本数据增强赋能大型语言模型
提出了一种自动生成大量数据增强指令并选择最适合任务的指令的新解决方案，从而赋予 LLM 创建高质量增强数据用于不同的下游任务的能力。在 26 个少样本学习任务中，该方法一致生成比非 LLM 和基于 LLM 的数据增强方法质量更好的增强数据，
PDF2 months ago
COLING德国新闻文章中的引用归属数据集
为分析包括在线新闻文章在内的丰富数据中的人类交流，有效提取说话者、言论内容、受众等是至关重要的。然而，缺乏在德语新闻文章中用于此任务的标注数据严重限制了可能系统的质量和可用性。为解决这一问题，我们提供了一个基于 WIKINEWS 的新的、可
PDF2 months ago
分子文本的层次对齐：统一的分子理解和生成
提出了一种多模式分子表示学习框架 Atomas，通过学习 SMILES 字符串和文本表示，同时学习两种模态之间细粒度的片段对应关系，并在三个层面上对这些片段进行对齐，实现了对多个下游任务的支持，并在检索任务和生成任务中取得了显著的结果。
PDF2 months ago
简单、高效和可扩展的结构感知适配器提升蛋白质语言模型
SES-Adapter 通过将 PLM 嵌入与结构序列嵌入相结合，创建了结构感知的表示方法，进一步提高了下游任务性能。与普通的 PLMs 相比，SES-Adapter 最大程度上提高了下游任务性能达 11%，平均提高了 3%，训练速度也加快
PDF2 months ago
延迟瓶颈化：缓解预训练图神经网络中的遗忘
传统的预训练和微调流程中的遗忘现象可能对下游任务产生不利影响，因此我们提出了一种新颖的延迟瓶颈预训练（DBP）框架，通过抑制压缩操作并延迟至微调阶段来尽量保持潜在表示与训练数据之间的互信息，以确保压缩能够由有标签的微调数据和下游任务进行引导
PDF2 months ago
MiniMol：一种用于分子学习的参数高效基础模型
生物学任务中，数据通常很少。该研究提出了一种用于分子学习的基础模型 $ exttt {MiniMol}$，该模型经过预训练，在下游任务中表现出显著改进，具有公开源码。
PDF2 months ago
ACLCalc-CMU 在 SemEval-2024 任务 7 中的表现：预计算 —— 学习使用计算器提升语言模型的数算能力
利用计算器对较小的编码器型语言模型进行预微调，可以提高在需要数值理解的下游任务中的性能。
PDF2 months ago
LoRA 专家混合模型
引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证
PDF2 months ago
我们能捉住大象吗？自然语言生成中幻觉评估的演变：综述
自然语言生成（NLG）中的幻觉就像房间里的大象，明显却经常被忽视，直到最近取得了显著进展，提高了生成文本的流畅性和语法准确性。对于大型语言模型（LLMs），幻觉可能在各种下游任务和随意对话中发生，需要准确评估以提高可靠性和安全性。然而，目前
PDF2 months ago
基础模型的有效时机：利用多光谱图像进行像素级分类的适用性研究
基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。
PDF2 months ago
CVPR探索视觉提示在多模态大型语言模型中的可转移性
通过 Transferable Visual Prompting (TVP) 这一新方法，在只对一个模型进行训练的情况下，有效改善多样化的 Multimodal Large Language Models (MLLMs) 的性能，以提高其在
PDF2 months ago
IJCAIFedPFT: 基于联邦代理的基础模型迁移微调
通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明
PDF2 months ago
预训练图神经网络基于自动驾驶的智能交通场景理解模型
基于图注意力网络的通用预训练场景理解模型能够学习交通场景的通用交互和推理，支持各种下游任务，通过在城市和高速公路场景中进行验证实验，证明了该模型具有广泛应用的潜力，并通过消融实验展示了预训练任务设计的有效性。
PDF3 months ago
人们提示：LLM 在软件验证和伪造方法中的下游任务的分类
通过细致地剖析 80 篇论文，我们研究了软件测试和验证研究社区如何抽象构建基于大型语言模型（LLMs）的解决方案。我们验证了下游任务是否能够传达基于提示的解决方案的蓝图，并确定了解决方案中的任务数量和性质。为此，我们开发了一种新的下游任务分
PDF3 months ago
多视图自监督方法在音乐标记中的实验比较
在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。
PDF3 months ago
能否通过对比学习改进嵌入
使用 SIMSKIP，一种新颖的对比学习框架，通过改善输入嵌入来提高后续任务的性能。SIMSKIP 利用之前训练过的编码器模型的输出嵌入作为输入，通过理论分析证明其不会导致下游任务错误的上限增加。在不同的开放数据集上的实验证明 SIMSKI
PDF3 months ago
CVPRGLID：预训练通用编码 - 解码视觉模型
该论文提出了一种用于处理各种下游计算机视觉任务的 GeneraLIst 编码器 - 解码器（GLID）预训练方法。GLID 通过在各种视觉任务上微调预训练的通用编码器 - 解码器，并最小限度地修改任务特定的架构，在预训练 - 微调体系结构不
PDF3 months ago