model tuning | BriefGPT - AI 论文速递

关键词model tuning

搜索结果 - 9

校对：轻点一下修复所有错误
该论文介绍了一种基于服务器端大型语言模型的 Gboard 新功能 Proofread，通过单击实现无缝的句子级和段落级纠错，从数据生成、指标设计到模型调优和部署，描述了完整的系统。
PDFa month ago
多模态大型语言和视觉模型综述
通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析
PDF3 months ago
Res-Attn: 一种带有轻量级注意力机制的增强型 Res-Tuning 方法
基于 Res-Tuning 框架，本研究提出了一种高级高效的调谐器 Res-Attn，利用低秩注意力机制对查询、键和值进行投影，通过训练这个轻量级的注意力模块，实现了对新场景的自适应，并在一系列判别性和生成性任务中展示了与现有方法相比的优越
PDF6 months ago
超越微调：从模型中学习的调查
在基础模型的基础上，通过 Learn From Model 技术对模型进行调优、蒸馏和元学习等方面的研究，以提升基础模型的能力和性能，为未来的研究探索和解决待解决的问题提供参考。
PDF9 months ago
CIEM：用于更好的指导调整的对比指导评估方法
通过对大型视觉语言模型（LVLMs）进行研究，解决了现有视觉语言模型（VLMs）在下游应用中生成不正确感知信息的幻觉问题，利用对比指导评估方法（CIEM）和对比指导调整方法（CIT）产生高质量的问题 - 答案对和相应的理由，提高了模型的效果
PDF10 months ago
ACL通过自监督微调进行零 - shot 文本分类
本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分
PDFa year ago
限制性反馈带来额外性能收益
提出面向反馈的机器学习模型调优挑战 (EXPECTED)，并针对深度模型引入了针对参数分布的几何特征及更高效的层次调优算法，通过实验验证了该算法的准确性和有效性。
PDFa year ago
ICML寻找可探查的泛化度量
本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。
PDF3 years ago
EMNLP基于规模的参数高效提示微调技术的强大性
通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相
PDF3 years ago