model quality | BriefGPT - AI 论文速递

关键词model quality

搜索结果 - 11

ACL用紧凑和一致的下一个令牌分布高效训练语言模型
通过与折叠的 $n$-gram 分布进行预聚合，我们能够更快地训练更好的模型，并在模型质量和收敛速度上实现显著改进。
PDF3 days ago
使用鲁棒非参数统计方法测量模型变异性
深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。
PDF24 days ago
SHIELD：可解释人工智能的正则化技术
介绍了一种名为 SHIELD（选择性隐藏输入评估学习动力学）的可解释人工智能正则化技术，通过隐藏部分输入数据并评估预测结果的差异，改善模型质量、提高解释性，并在基准数据集上验证了其有效性，为开发透明可靠的人工智能正则化技术开辟了有前途的道路
PDF3 months ago
了解机器学习训练集中无损压缩的有效性
对机器学习和人工智能在高性能计算中的应用，数据压缩对模型质量的影响以及现代有损压缩方法的优势进行了系统评估，指出了指导将来使用和设计有损压缩器的关键见解。
PDF3 months ago
Transformer 中鲁棒性 N:M 稀疏训练的渐进梯度流
现有稀疏训练方法在高稀疏度区域存在模型质量下降的问题，本文通过限制梯度传递以减少梯度噪声，提供了一种改善高稀疏度区域视觉和语言模型性能的方法，并针对模型精度和训练计算成本的权衡问题进行了评估。
PDF5 months ago
超越 Chinchilla-Optimal：考虑推理在语言模型扩展规律中的影响
基于大型语言模型（LLM）的扩展规律是根据参数数量和训练数据的增加估计模型质量的经验公式。然而，这些公式，包括流行的 DeepMind Chinchilla 扩展规律，忽略了推理成本。我们修改了 Chinchilla 扩展规律，以计算训练和
PDF6 months ago
一种基于子空间编码器方法的非线性状态空间识别初始化方法
本文介绍了使用 Best Linear Approximation (BLA) 对子空间编码器方法进行初始化的方式，该方式在弱非线性系统中提高了模型质量，并且解决了训练过程中的收敛问题。
PDFa year ago
ACL低秩 Softmax 理论上可能存在无法取最大值的类别，但在实践中很少出现
本篇论文研究自然语言处理（NLP）中分类器的输出类别众多，通过开发算法检测大规模语言模型和翻译模型的无法使用 argmax 方法预测的 Tokens，其中 13 个模型存在此类 Tokens，但发现其极少且不太可能影响模型质量。
PDF2 years ago
ICLR定时生长和修剪方法实现高效模型稀疏化
本文提出了一种新的计划性生长和修剪（GaP）方法，通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态，以减少计算和内存成本，同时保持模型质量。实验结果表明，该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法，并且无需预训练密集
PDF3 years ago
数据并行对神经网络训练的影响测量
本文研究了增加批次大小对神经网络训练时间以及模型性能的影响，并发现不同的工作负载之间存在巨大的差异，并且不发现增加批次大小会降低模型的性能表现。
PDF6 years ago
NIPS遗失建筑的探险家：基于核的贝叶斯优化在条件参数空间中的应用
通过定义一个新的核，包含给定结构中哪些参数是相关的信息，来改善模型质量和贝叶斯优化结果，用于在具有不同数量参数的结构中进行搜索。
PDF10 years ago