language model fine-tuning | BriefGPT

关键词language model fine-tuning

搜索结果 - 4

参数高效微调与适配器
该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对
PDF2 months ago
使用合成偏好数据对语言模型进行可配置的安全调整
提出了一种 Configurable Safety Tuning (CST) 方法，通过使用合成的偏好数据，来增强 Direct Preference Optimization (DPO) 在推理时对语言模型的灵活安全配置，有效地处理了用户
PDF3 months ago
利用大型语言模型和语言规则生成矛盾检测的原型
介绍了一种新颖的数据生成方法用于矛盾检测，结合了大型语言模型的生成能力和语言规则，旨在提供一种取得深入语言分析和高效语言模型微调的原型矛盾语料库。
PDF8 months ago
一种无监督数据集类分离度估计方法及其在 LLMs 微调中的应用
本文提出一种基于拓扑特征的无监督方法来预测数据的类别可分性，该方法适合于处理有限标注数据和大规模未标注数据的学习模型。通过实验证明，该方法与有监督的评估方法如 Fisher 判别比率和分类器的交叉验证有着一致的表现，可以有效地用于语言模型的
PDFa year ago