model capacity | BriefGPT - AI 论文速递

关键词model capacity

搜索结果 - 43

一个基准重新审视：推动多段落模型在上下文感知翻译中的极限
利用多段模型进行上下文翻译，在不需要额外的语言特定调整和特定任务结构的情况下，通过增加模型容量并使用知识蒸馏技术，取得了可比较的性能，更适合捕获上下文依赖关系。
PDF2 years ago
EMNLPSparseAdapter：一种提高 Adapter 参数效率的简单方法
插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调
PDF2 years ago
MM双流数据在线深度学习
本文提出了 OLD^3S 框架，实现在线学习的高效处理，针对在不断更新的特征空间上进行的数据流的学习问题。通过建立新旧特征空间之间的关系，发现一个共享的潜在子空间以总结旧和新特征空间的信息，构建中间特征映射关系，从而将模型容量作为可学习的语
PDF2 years ago
多任务强化学习中具有分布式价值近似的转换轨迹变换器
SwitchTT 是一种用于解决多任务强化学习中离线模型学习问题的模型，它采用了开关 Transformer 模型架构以提高模型容量和分布式轨迹值估计器以改善策略性能，尤其是在稀疏奖励设置中。我们的实验证明，SwitchTT 可以在 10
PDF2 years ago
神经语言模型记忆能力量化
这篇研究论文描述了大语言模型 (LMs) 如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而，该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题，因此有减轻该问题的必要，尤其随着
PDF2 years ago
离线强化学习通过监督学习的必要条件是什么？
离线强化学习中的监督学习方法及其必要算法组件已被证明可以达到与基于 TD 学习或序列建模的复杂方法相当的高效性；如何选择模型容量和条件信息（例如目标或奖励）可以对性能产生至关重要的影响，这提供了对 RvS 学习从业者的指南。
PDF3 years ago
EMNLP为机器翻译学习紧凑的度量
使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的
PDF3 years ago
ACLnmT5 - 预训练大规模多语言语言模型是否仍需使用平行语料？
本文研究了在 mT5 预训练模型中加入平行数据对其性能的影响，结果表明：在预训练期间将多项任务结合进行语言建模，特别是机器翻译等目标任务，可以明显提高其在多语种和跨语种任务中的性能，但随着模型容量的增加，收益开始减少，这表明平行数据对较大的
PDF3 years ago
EMNLP预训练语言模型的大型产品密钥存储器
本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。
PDF4 years ago
ICLR几何感知实例再加权对抗训练
这篇研究论文介绍了一种新的对抗训练方法，通过根据自然数据点到分类边界的远近来赋予不同的权重，以提高模型的鲁棒性和准确性。
PDF4 years ago
CVPR再论姿态归一化在细粒度少样本识别中的应用
针对少样本、细粒度分类任务，提出使用姿态归一化表示方法，并通过实验证明，该方法可以较小幅度地增加模型能力，在浅层和深度网络结构下将准确率提高 10 到 20 个百分点，具有更好的泛化性能，并且适用于多种 few-shot 算法和网络架构。
PDF4 years ago
ICML带黎曼布朗运动先验的变分自编码器
本文提出了在潜空间上采用 Riemannian 结构和 Riemannian Brownian motion 先验来代替传统高斯先验，从而提高 Variational Autoencoder 的模型能力。
PDF4 years ago
AAAI利用神经架构搜索实现 Oracle 知识蒸馏
提出了一种新的知识蒸馏框架，利用神经架构搜索技术和神经网络来学习深度神经网络教师模型以获得高效的学生模型。该方法通过减少教师和学生之间的模型容量差距，从而最大化从教师模型进行蒸馏的收益，我们在基于 CIFAR-100 和 TinyImage
PDF5 years ago
ICLR自适应深度变压器
本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时
PDF5 years ago
CVPR增加模型容量的微调：培育大脑
通过对 CNN 进行 fine-tuning，增加模型容量可以更自然的适应目标数据。同时，通过对比发现增加网络单元的增长方法在一些基准数据集中表现出色。
PDF5 years ago
信息瓶颈的可学习性
本文提出 Information Bottleneck (IB) 方法用于表征学习。通过调整拉格朗日乘子 $eta$ 实现压缩和预测之间的平衡，同时为 IB-learnability 提供理论指导和适当的算法来估计最小 $eta$。作者
PDF5 years ago
CVPRKervolution 神经网络
本文介绍了一种新的 kervolution 运算，该方法可以在非线性空间内运行，扩展了卷积神经网络的模型容量，捕捉更高阶的特征交互，并通过基于补丁的核函数实现，而不引入额外参数。大量实验表明， kervolutional neural ne
PDF5 years ago
深度网络的泛化：与起始点距离的作用
本文研究了使用随机梯度下降（SGD）训练深度神经网络为什么会导致泛化误差不随网络参数数量恶化的问题，并提出一种基于给定随机初始化的有效模型容量的概念。作者通过实验证明了 SGD 训练的深度网络的模型容量实际上受限于从初始化开始的 L2 距离
PDF5 years ago
调和现代机器学习实践与偏差 - 方差平衡
本文中，我们通过统一的性能曲线，协调了传统理解与现代实践，它包含了传统的 U 形偏差 - 方差权衡曲线，这个被称为 “双下降” 曲线的统计证据，证明了其存在于各种模型和数据集中，并推断了其出现机制。通过机器学习模型性能与结构之间的联系，勾勒
PDF6 years ago
CVPR语义分割模型对抗攻击的鲁棒性
对现代语义分割模型的对抗攻击进行了深入评估，发现许多分类任务的观察结果并不能直接转移到更复杂的任务上，同时展示了深层结构模型中的平均场推理、多尺度处理等方法如何自然地实现最近提出的对抗性防御。这些发现有助于未来理解和防御对抗性攻击，并有效评
PDF7 years ago