fine-tuning strategies | BriefGPT

关键词fine-tuning strategies

搜索结果 - 14

对比对抗和扩散：探索沟回识别的预训练和微调策略
本研究旨在通过评估计算机视觉中的预训练技术和微调策略优化神经网络的学习过程，探讨其在独立相同分布群体中的优势。我们通过使用包含 596 个对象的 TOP-OSLO 群体，利用不同的三维卷积神经网络体系结构，在多任务分割 - 分类挑战中，实证
PDFa month ago
PV-Tuning：用于极高 LLM 压缩的超越直通估计的方法
该研究提出了 PV-Tuning，一个对于极端压缩语言模型的量化感知微调策略的表示无关框架，通过在实践中应用于 1-2 位矢量量化，PV-Tuning 在高性能模型如 Llama 和 Mistral 中优于先前的技术，实现了 Llama 2
PDFa month ago
大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析
该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。
PDFa month ago
智能专家系统：大型语言模型作为文本分类器
这篇论文介绍了一种名为 Smart Expert System 的创新方法，利用大型语言模型作为文本分类器，简化了传统的文本分类工作流程，通过评估多个大型语言模型、机器学习算法和神经网络结构在四个数据集上的性能，证明了某些大型语言模型在情感
PDFa month ago
将 WavLM 应用于语音情感识别
最近，人们对语音自我监督模型（SSL）在下游任务中的使用越来越关注。在大规模预训练模型通常优于从头开始训练的较小模型的情况下，人们对最佳微调策略的问题仍然很普遍。本文中，我们探讨了 WavLM Large 模型在 MSP Podcast C
PDF2 months ago
振荡泄密：微调扩散模型能够放大生成的隐私风险
扩散模型存在隐私风险，其中 Shake-to-Leak (S2L) 是一种新的风险，通过操纵数据以微调预训练模型，可以增强现有的隐私风险，尤其在扩散模型下还比过去认识的更严重。
PDF4 months ago
CST: 参数和内存高效迁移学习的校准边调
通过融合适配器调整和边调整的成功技术，引入了一种轻量级微调策略，即校准侧调整，用于 ResNet，该方法通过最大的过渡校准来提高网络性能，并在保持平稳训练过程的同时利用少量的额外参数。通过在 ResNet 中实施并在五个基准数据集上进行广泛
PDF4 months ago
有效微调以提升大型多模态放射学报告生成模型
利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进
PDF7 months ago
零样本三维形状草图视图相似度与检索
本研究探讨了预训练的 ViT 和 ResNet 特征层在量化个体三维形状的二维草图视图之间的相似性方面的能力，并使用对比学习细化预训练模型，研究所选微调策略如何影响零样本形状检索准确性，提供洞察和指导采用大规模预训练模型作为感知损失的研究。
PDFa year ago
针对亚裔仇恨言论的语音识别任务：以 BERT 为核心，数据为中心进行关键研究
为了有效地检测和预防针对亚洲人的仇恨言论，我们创建了 COVID-HATE-2022 数据集，并使用 BERT 模型和数据细化等策略进行了微调，实验表明数据细化的策略在相关任务中表现最佳，能够有效提高模型性能。
PDF2 years ago
ACLPALI-NLP 参加 SemEval2022 任务 4：基于 Transformers 的辨别微调技术用于判断优越和屈尊语言
本文提出了一种基于 Transformer 的模型及其集成，通过两种微调策略捕捉多样的语言行为和分类分布，从而准确理解 PCL 语言语境，获得了出色的结果。
PDF2 years ago
ACL追溯起源：具有共指关注的机器阅读理解
本文介绍了一种模拟人类阅读过程并利用实体的指代信息来增强预训练语言模型中的词嵌入以提高模型性能的方法，头两种微调方式，即在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。结果表明，在微调阶段明确加入
PDF3 years ago
探索 Wav2vec 2.0 微调以提高语音情绪识别
该研究介绍了使用不同的微调策略，将 Wav2Vec 2.0 应用在语音情感识别上，从而进一步提高其性能，最终成功达到了在 IEMOCAP 数据集上的最新状态下的表现，升高 7.4% 的绝对无权重准确率，同时提出了一种上下文化情感表示的微调方
PDF3 years ago
IJCAI文本生成的预训练语言模型：综述
本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。
PDF3 years ago