- VGA: 视觉 GUI 助手 -- 通过图像中心的微调减少幻觉
我们提出了一种名为 VGA 的细调模型,旨在提升对图形用户界面(GUI)的理解能力,减少幻觉和错误响应。我们构建了一个 63.8k 高质量示例的 Vision Question Answering(VQA)数据集,并设计了一种名为 Foun - 预训练的 3D 点云模型的稳健微调
该论文提出了一种针对预训练的 3D 点云模型的鲁棒微调方法,以增强下游微调模型中的特征鲁棒性。通过权重空间集成和线性探测相结合的方法,该方法显著提高了下游微调模型在分布变化情况下的性能,同时在目标分布上保持高性能,以提高特征鲁棒性。将这种鲁 - 强制语言模型排除扩散分布
今天的语言模型在随机输出方面表现不佳,本文提出了一种微调方法,鼓励语言模型产生分散的输出分布,使大型语言模型在合成数据集生成方面变得更实用。
- 模型库:我们只需要一些微调的模型
介绍了一种有效的大型预训练模型微调方法,通过使用更少的模型实现更精确的权重,提供了出色的分布内(ID)和分布外(OOD)性能。
- ICLR从视觉提示中学习语义代理,实现深度度量学习中的参数高效微调
本研究探讨了用于深度度量学习任务的预训练模型的参数有效微调方法,通过学习视觉提示在预训练的视觉转换器中来增强传统的基于代理的深度度量学习模型的代理,并证明了该方法在度量学习性能上超越了代表性能力的,只微调了一小部分参数的新近工作。
- 基于文本图的大型语言模型的高效调优和推理
通过将大型语言模型(LLMs)与图神经网络(GNNs)相结合,我们提出了一个参数和内存效率的 FINE-TUNING 方法来处理文本图,该方法通过可调的边结构显著降低了训练复杂性,同时在文本图上获得了最佳模型性能,且训练成本最低。
- 可衡量忠诚度的遮蔽语言模型
提议基于掩码方法的一种内在的可靠度可衡量模型,该模型能够解决现有方法受限、计算昂贵且基于代理模型的问题,通过在设计上使掩码令牌成为数据分布内的方式,从而能够更有效地解释和说明 NLP 模型。
- 领域私有转换器
本篇论文提出了一种新颖的方法 —— 领域隐私,用以衡量条件语言模型在不同域之间泄露的可能性,并根据基于标记级别的域分类开发策略函数和一种高效的微调方法以提高已训练模型的域隐私;实验表明,我们的方法具有与不同 ially 私有语言模型的方法相 - 利用人类反馈对齐文本与图像模型
本文介绍了一种 Fine-Tuning 方法,使用人类反馈对齐文本到图像的 Deep generative model,通过分析设计选择平衡对齐 - 准确性的权衡,最终通过奖励加权似然优化,使得生成的对象更准确地反映了指定颜色、数量和背景等 - EMNLP预训练语言模型的跨度微调
本文提出了一种新颖的跨度微调算法,利用基于卷积神经网络的层次结构增强了预训练语言模型,并在 GLUE 基准下显著提升了其性能。
- ACL序列生成的迁移学习:从单源到多源
提出了一种针对多源序列生成(MSG)任务的双阶段微调方法和一种新的 MSG 模型,通过设计精细的编码器来学习更好的表示,实验表明该方法在多项任务中取得了最好的结果,并且在文档级翻译任务中显著优于强基准结果。
- 针对语音识别鲁棒性的上下文化嵌入在口语理解中的学习
本研究提出了一种新的混淆感知的微调方法,以减轻 ASR 误差对已预训练的语言模型产生的影响,并在 ATIS 数据集上进行了实验,结果表明该方法显著提高了 ASR 转录文本上口语理解的性能。
- 通过注意力映射将人类知识嵌入深度神经网络
本研究旨在实现一种将人类知识嵌入深度神经网络的方法,通过人类知识的可视化编辑,利用注意力机制进行微调,以实现从视觉角度获得更人类可解释的分类结果。
- AAAI无法一次性训练骨干网络:回滚到预训练网络进行人员再识别
本研究提出一种新的 fine-tuning 策略,通过将高层权重回滚到它们的预训练权重,充分训练低层,从而解决训练数据不足的问题,并在人员重新识别任务中实现了最先进的性能。