training methodologies | BriefGPT

关键词training methodologies

搜索结果 - 6

基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述
能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBM
PDF11 days ago
Skywork-MoE: 混合专家语言模型培训技术的深入研究
在本研究中，我们介绍了 Skywork-MoE 的训练方法，它是一个具有 1460 亿参数和 16 个专家的高性能混合专家（MoE）大型语言模型（LLM），它是从我们的 Skywork-13B 模型的预先存在的密集检查点初始化的。我们对再利
PDFa month ago
诚实对齐
应用对齐技术以增强大型语言模型（LLMs）的有益性和无害性，保证其在人类意图下主动拒绝回答缺乏知识的问题时不会过于保守是至关重要的。本文通过建立明确的问题定义，以及定义了《论语》所启发的 “诚实” 的基石，解决了识别 LLM 知识限度的挑战
PDF7 months ago
人类驱动大型语言模型的对齐研究
综述了大型语言模型对齐技术的全面概述，包括数据收集、训练方法和模型评估，并提供了未来研究方向的启示，是了解和推进适应人类任务和期望的 LLM 对齐的宝贵资源。
PDFa year ago
REflex: 在多个领域中灵活进行关系抽取的框架
本文通过在三个常用数据集上的系统探索建立关系提取的统一框架，发现预处理对性能的影响巨大，且缺少信息会进一步阻碍公平比较，文章还就未来研究提出了建议。
PDF5 years ago
潜在权重不存在：重新思考二值化神经网络优化
本文探讨了二值神经网络（BNNs）优化的问题，提出了将潜在权值解释为惯性，并引入了 BNNs 的第一个优化器 ——Binary Optimizer（Bop），以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现
PDF5 years ago