parameter budget | BriefGPT

关键词parameter budget

搜索结果 - 6

AdaptIR：面向预训练图像恢复模型的参数高效多任务适应
提出了 AdaptIR，一种适应预训练恢复模型的新型参数高效迁移学习方法，通过采用多分支入射结构来正交地捕捉局部空间、全局空间和通道交互，以实现在非常低的参数预算下的强大表示。实验证明，该方法仅使用 0.6% 的参数就能达到与全微调相当甚至
PDF7 months ago
ICLR自适应预算分配用于参数高效微调
提出 AdaLoRA 方法，以自适应方式在权重矩阵之间分配参数预算，以优化 NLP 的预先训练模型的参数更新问题，在多个自然语言处理任务中表现出显着优势。
PDFa year ago
EMNLP参数高效迁移学习在机器翻译中的适用条件
本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果
PDF2 years ago
ICML通过自适应稀疏连接提高深度学习的泛化能力
本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。
PDF5 years ago
CVPR深度虚拟网络用于多任务记忆高效推断
本研究提出了一种名为深度虚拟网络 (DVNs) 的新型网络结构，能够为不同的任务构建特定的网络配置，使其适应不同的内存预算并能在多任务学习时达到较高的性能。
PDF5 years ago
神经网络的耦合集成
本文对深度卷积神经网络进行了研究，提出了一种将模型参数重构成多个并行支路的方法，这种 “馈道” 架构可以在不降低性能的情况下显著减少参数数量或显著提高性能，同时提供另一种正则化形式，在训练过程中加入整流层可以进一步提高性能，这种架构被称为
PDF7 years ago