fine-tuning | BriefGPT - AI 论文速递

关键词fine-tuning

搜索结果 - 1237

BISeizuRe: 基于 BERT 启发的癫痫数据表示以提升癫痫监测
该研究提出了一种新的基于 EEG 的癫痫检测方法，利用一种基于 BERT 的模型。该模型经历了两个阶段的训练过程，分别在 TUEG 和 CHB-MIT 数据集上进行预训练和微调，以提高检测性能。优化后的模型在降低误报率的同时，取得了显著的性
PDF2 days ago
基于通用表征的微调网络解决未知认知任务
微调预训练语言模型在广泛的任务上展现出有希望的结果，但面对新任务时，它们更依赖于通用的预训练表示还是开发全新的任务特定解决方案？我们在一个与模型相关且来自神经科学文献的情境依赖决策任务上微调了 GPT-2，并将其性能和内部机制与从头开始训练
PDF2 days ago
基于大型语言模型的零射击提示在开放域人机对话中的角色扮演
采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模
PDF3 days ago
AdaZeta：自适应零阶张量列适应方法用于内存高效的大规模语言模型微调
通过提出 Adaptive Zeroth-order Tensor-Train Adaption (AdaZeta) 框架，本文致力于改进 ZO 方法的性能和收敛性，主要关注的问题包括维度相关的 ZO 估计准确性、大规模 ZO 微调任务中的
PDF3 days ago
揭示冒充者：领域内检测人类与机器生成的推文
使用 Twitter 数据集检验了四个大型语言模型的生成能力，发现领域内的精细调整和去除审查可显著降低自动检测方法的效果，揭示了细调和内容监管对机器生成的文本检测的影响。
PDF4 days ago
自构建上下文解构，并进行细粒度对齐增强
该研究论文提出了两种方法：自构建上下文反编译（sc$^2$dec）方法在没有微调的情况下重新编译 LLM 的反编译结果，以构造上下文学习对，帮助模型提高反编译性能；细粒度对齐增强（FAE）方法通过利用调试信息，在微调阶段将汇编代码与源代码在
PDF4 days ago
连接语音编码器和大型语言模型的全面解决方案用于语音识别
本文提出了一个综合解决方案，包括更加细致的微调方案、匹配损失用于增强模态对齐、以及训练和推理方法来减少插入错误，实验证明部分微调语音编码器和语言模型，以及使用诸如 LoRA 的参数高效方法是最具成本效益的方法，匹配损失能够提升模态对齐，而所
PDF4 days ago
ICML语言模型中心理状态表征的基准测试
用各种语言模型和不同的模型大小、微调方法和提示设计进行广泛的基准测试，研究了心理状态表征的鲁棒性和记忆问题，并首次研究了提示变化对心智任务的探测性能的影响。结果表明，模型对他人信念的内部表征质量随模型大小和微调的增加而提高。此外，我们证明了
PDF4 days ago
KDDFedBiOT: LLM 局部微调的联邦学习无需完整模型
在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。
PDF4 days ago
ICML通过近似和共享反向传播减少微调内存开销
本文主要关注细调预训练大型模型的内存开销问题，从激活函数和层归一化的角度来减轻内存开销，并通过引入 Approx-BP 理论，提出了 GELU 和 SiLU 激活函数的内存高效替代方案，以及 Memory-Sharing Backpropa
PDF5 days ago
定向领域微调：为特定训练任务定制分开的模态
通过使用 LORA 方法，我们提出了使用特定领域的信息数据集进行模型参数微调的方法，我们的研究旨在提高 Video-LLaVA 模型在烹饪视频中生成特定食材列表和详细指导的能力。
PDF5 days ago
大型语言模型的多目标语言控制
通过细调用于现有数据的多控制调优方法，本文提出一种能够精确控制大语言模型输出的多个语言复杂性的方法。实验证明该方法不仅显著改善了大语言模型的多复杂性可控性，还保持甚至提升了响应质量。
PDF6 days ago
多语言大型语言模型的跨语言能力和知识障碍
通过评估六种最先进的大型语言模型在跨语言任务上的表现，本研究发现尽管这些模型在机器翻译和嵌入空间分析上展现了表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。同时提出在混合语言数据上对大型语言模型进行微调
PDF6 days ago
渐变掩模调优提升 LLM 性能上限
基于任务特定信息和梯度掩码调整的细节调整方法在大型语言模型中超越了传统的细调方法，并提升了语言模型的性能上限。
PDF8 days ago
自动诗歌生成中的多样性评估
评估自动生成诗歌的多样性，通过比较自动生成诗歌的结构、词汇、语义和风格等维度的分布与人类诗歌的分布，并考察不同模型类型和微调类型，发现当前的自动生成诗歌系统在多个维度上缺乏多样性，但风格条件和字符级建模明显增加了多样性。这些限制可用于更加多
PDF8 days ago
基于适配器的多种口语语言处理任务统一模型
通过适配器微调，我们研究了开展统一模型以有效处理多个口语处理任务的潜力，并在 SUPERB 基准测试中实验证明，适配器微调使得单一的编码 - 解码模型在五个目标任务上的性能提高了 18.4％，同时在参数更新方面保持高效。
PDF9 days ago
抛弃糟粕保留精华：关于大规模语言模型微调中的数据选择的思考
大规模语言模型的数据选择旨在从给定的候选数据集中选择一个高质量的子集，以训练一个挂起的微调模型进而得到一个选择性增强模型，以提高模型性能并加快训练进程。通过深入的分析和综述，我们发现具有数据特定和模型特定质量标签的更具针对性的方法具有更高的
PDF9 days ago
研究 CoT 增强蒸馏之谜
链式思维 (Chain of Thought) 的理由序列已被证明能在问题回答等任务中有效提高语言模型的性能。最近的研究表明，这种理由序列在模型蒸馏中也能起到作用。通过将这些序列（由大型 “教师” 模型生成）与目标标签一同用于微调小型 “学
PDF9 days ago
LLM 在合成表格数据生成中天生出色吗？
大语言模型在生成合成文本和图像方面表现出色；然而，在生成表格数据方面，它们的潜力相对较少。本文展示了使用大语言模型，无论是原样使用还是传统的微调后使用，作为合成表格生成器是明显不足的。通过使用排列注意力，我们展示了如何使大语言模型克服其中的
PDF9 days ago
BERT 的治愈力量：如何通过任务特定微调恢复受损的语言模型
研究了语言模型（如 BERT）对参数故障的鲁棒性，发现底层的参数故障对语言模型的性能恢复有着更严重的影响，这些发现有助于了解语言模型在不利条件下的鲁棒性和适应能力，并为开发抵抗参数扰动的弹性自然语言处理系统提供了策略。
PDF9 days ago