关键词maximum-likelihood training
搜索结果 - 4
- 大型语言模型中的难以计算的推断摊销
通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本，我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法，进而实现了对多步骤推理和工具使用任务的数据高效适应。
- 诊断和修复深度生成模型中的流形过拟合问题
本文研究了基于最大似然估计的深度生成模型在处理高维数据时可能存在的流形过拟合问题，提出了一种由降维和密度估计两步组成的有效算法，能够避免流形过拟合问题并且实现了对隐式模型的密度估计。
- 文本摘要的嘈杂自知力蒸馏
本文将自我知识蒸馏应用到文本摘要中，通过引入教师模型生成平滑标签以帮助正则化训练，同时使用多个噪声信号来更好地模拟不确定性，实验结果显示该框架提高了预先训练和非预先训练摘要器的性能，并达到了最先进的结果。
- 无向模型的分段训练
本文介绍了一种基于单个团集合的独立训练方法，以在训练大规模无向图模型时提高准确性，并通过对三个自然语言数据集的实验，证明了其比伪似然更准确，并且通常与使用信念传播的全局训练相当。