task-specific models | BriefGPT

关键词task-specific models

搜索结果 - 11

双子融合：模型融合中的模块专长的动态整合
在大型语言模型时代，模型合并是将多个特定任务模型合并为一个多任务模型的有希望的方法，但面临着不同模型之间的干扰和测试期间的异构数据等两个挑战。我们提出了 Twin-Merging 方法，它模块化知识为共享和专属组件，并在输入的基础上动态地合
PDF15 days ago
COLING语言模型融合的费舍尔掩码节点
我们引入一种新的模型合并方法，将先前在 Fisher 加权平均和模型修剪中对 Fisher 信息的使用的工作见解与 Transformer 结构内的掩码节点的 Fisher 信息相结合，提出了一种计算高效的加权平均方案。我们的方法在 BER
PDF4 months ago
CVPR掩蔽自动编解码器是一种有效的多任务视觉通才
通过引入双向注意力机制、并行解码框架和掩码序列建模方法，设计了一种名为 MAD 的多任务视觉通用模型，用于统一各种视觉任务，实验证明 MAD 在性能和推理效率方面优于自回归模型，并在与任务专用模型相比获得竞争力的准确性。
PDF4 months ago
Jatmo：通过任务特定微调进行提示注入防御
本研究中，我们引入了一种名为 Jatmo 的方法，它可生成对注入攻击具有弹性的特定任务模型，并通过六个任务的实验证明，Jatmo 模型在其特定任务上提供与标准 LLMs 相同质量的输出。
PDF6 months ago
利用视觉基础模型，高效训练小型任务专用模型
利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目
PDF7 months ago
EMNLPSeq2seq 对于共指解析的全部需求
本研究中，我们证明 task-specific 模型并非必需，通过微调预训练的 seq2seq transformer，将输入文档映射为编码指示共指标注的标记序列，我们的模型在多个数据集上表现优于或接近文献中最佳的共指系统。我们还提出了一种
PDF8 months ago
有效且参数优化的复用微调模型
提出了针对使用多个经过精调的特定任务模型的参数高效重用方法 PERU。通过稀疏任务向量注入到合并模型中，通过截断幅值来创造 PERU-FFT，以重用完全精调的模型。通过奇异值分解来近似 LoRA 矩阵，提出了使用低秩矩阵重用 LoRA 精调
PDF9 months ago
使用大型语言模型评估阿拉伯语人工智能能力
本研究旨在对大型基础模型在阿拉伯自然语言处理和语音处理的表现进行系统的评估和比较，结果表明在大部分任务中，基础模型的表现不如专门针对任务开发的模型，未来的研究将探索 Few-shot prompting、拓展任务范围并研究其他开源模型。
PDFa year ago
或许只需要 0.5% 的数据：低训练数据指令调优的初步探索
本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型
PDFa year ago
通过知识增强的多模态预训练实现医疗人工通用智能
提出了一种基于 Medical-knOwledge-enhanced mulTimOdal pretRaining (MOTOR) 模型的医学人工通用智能模型，通过融合不同的基本医学知识，实现了对于医学预训练模型较好的跨模态对齐，形成了一种
PDFa year ago
ECCVNSGANetV2: 进化多目标代理辅助神经架构搜索
本文提出了一种高效的 NAS 算法，用于生成具有多个竞争目标的任务特定模型，在标准基准数据集上表现优异，且搜索效率大幅提高，并在六个不同的非标准数据集上证明了该方法的有效性和多样性。
PDF4 years ago