parameter efficiency | BriefGPT

关键词parameter efficiency

搜索结果 - 75

学它或者离开：模块组合与修剪的连续学习
MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜
PDF4 days ago
ICMLKernelWarehouse: 动态卷积设计的重新思考
KernelWarehouse 是一种更通用的动态卷积形式，通过在同一层及相邻层之间利用卷积参数的依赖关系重新定义了 “核心”、“组装核心” 和 “注意函数” 等基本概念，以提高动态卷积的参数效率，并在 ImageNet 和 MS-COCO
PDF18 days ago
mHuBERT-147：一种紧凑的多语言 HuBERT 模型
mHuBERT-147 是第一个以 90K 小时的干净、开源数据训练的通用多语言 HuBERT 语音表示模型，通过基于 faiss 的聚类实现了 5.2 倍更快的标签分配速度，同时应用了新的多语言批量上采样策略，在只有 95M 个参数的情况
PDF20 days ago
扩散模型的差分隐私微调
在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私
PDFa month ago
面向频谱感知的参数高效微调扩散模型
提出了一种新的谱感知适应框架，即 SODA，用于大规模预训练生成模型的参数高效适应，通过调整预训练权重的奇异值和基向量来实现参数高效适应正交矩阵，提供了一种谱感知替代现有微调方法的有效选择。
PDFa month ago
SeamlessExpressiveLM: 链条思维情感语言模型用于表达性语音到语音翻译
提出了 SeamlessExpressiveLM，一个用于表情化语音到语音翻译的单一语言模型，通过分解复杂的源到目标语音映射为中间生成步骤，并结合思维链引导模型，实现了在西班牙语到英语和匈牙利语到英语翻译中优于级联语言模型的语义质量和风格转
PDFa month ago
基于张量积的专家混合模型
在多任务学习中，我们提出了一种新的模块化语言模型（TensorPoly），它通过精细的路由方法和参数效率平衡来减轻负面干扰，并通过高效的自适应方法在多任务迁移学习中取得更好的结果。
PDFa month ago
音频曼巴：用于音频标记的预训练音频状态空间模型
通过提出自注意力自由的方法，音频马巴（Audio Mamba）利用状态空间模型来捕捉长音频频谱的依赖关系，实现了参数的高效性，并且在两个音频标记数据集上取得了与状态机最新技术相媲美的结果。
PDFa month ago
参数高效微调与适配器
该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对
PDF2 months ago
可逆残差缩放模型
通过学习特定分布下的高分辨率图像与低分辨率图像之间的双射映射，我们提出了可逆残差缩放模型 (IRRM) 来构建深度网络，通过长跳跃连接的残差降采样模块 (RDM) 和短连接的可逆残差块 (IRB) 来强制模型提取图像的高频信息，从而在图像缩
PDF2 months ago
连续学习的记忆变压器
记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。
PDF3 months ago
密集训练，稀疏推断：重思混合专家语言模型的训练
通过采用密集计算进行训练和稀疏计算进行推理的混合密集与稀疏混合模型 (DS-MoE)，在保持性能的同时实现了强大的计算和参数效率，比标准稀疏 MoE 更具参数效率，在总参数大小和性能方面与密集模型持平，而且计算成本更低。
PDF3 months ago
参数高效的准正交微调：基于 Givens 旋转方法
通过引入准 Givens 正交微调（qGOFT），本文旨在提高 Fine-tuning 中的参数效率，并增强其适应各种下游任务的能力。在实验中，我们使用不同的任务和预训练语言模型验证了我们方法的有效性。
PDF3 months ago
正弦激活低秩矩阵用于参数高效学习
该研究提出了一个新的理论框架，将正弦函数整合到低秩分解过程中，以提高模型准确性和参数效率。该方法在 Vision Transformers（ViT）、大型语言模型（LLMs）、神经辐射场（NeRF）和 3D 形状建模中应用成功，展示了其广泛
PDF3 months ago
GRA：通过组内旋转和注意力检测有方向的物体
我们提出了一种轻量但有效的 G-R-A 模块，用于替代背景网络中的卷积操作，以实现有向目标检测，该模块可以自适应地捕捉具有不同旋转角度的目标特征，通过旋转卷积核和组内关注的协同作用，我们方法在 DOTA-v2.0 基准上实现了新的最先进水平
PDF3 months ago
稀疏神经网络架构搜索的基准随机搜索
稀疏神经网络通过更高的参数效率展现出与密集网络类似甚至更好的泛化性能，但由于缺乏标准基线方法，可靠的比较和可重现性受到限制。本研究提供了一种评估方法和一种基于随机搜索的朴素基线方法，用于寻找良好的稀疏配置，并发现随机搜索在初始化稀疏子网络中
PDF4 months ago
BG-HGNN: 面向可扩展和高效的异构图神经网络
本文介绍了一种新的框架，Blend&Grind-HGNN（BG-HGNN），该框架有效地解决了现有 HGNN 在处理不同关系类型复杂异构图时所面临的问题，其通过将不同关系融合到一个统一的特征空间中，在参数可管理的单一参数集的帮助下，得到了一
PDF4 months ago
CVPR动态适配器遇到提示调整：基于参数效率的点云分析迁移学习
本文的目标是研究点云分析中的参数高效迁移学习，以在任务性能和参数效率之间取得理想的平衡，通过冻结默认预训练模型的参数，并使用动态适配器和提示调整相结合的方法，捕捉每个标记的重要程度，要点功能以及实例特定特征的交互。通过在五个具有挑战性的数据
PDF4 months ago
DiffuseKronA：一种适用于个性化扩散模型的参数高效微调方法
DiffuseKronA 是一种基于 Kronecker 乘积的适应模块，通过显著减少参数数量（与 LoRA-DreamBooth 相比减少 35％，与原始 DreamBooth 相比减少 99.947％）和提高图像合成质量，解决了文本到图
PDF4 months ago
PRoLoRA： Partial Rotation 强化更高效的参数化 LoRA
通过引入部分旋转增强的低秩适应机制 (PR0LoRA)，本文在大型语言模型 (Large Language Models) 领域提出了一种参数效率更高、适用范围更广的新方法，实验证明 PRoLoRA 在特定参数预算和性能目标场景下具有明显更
PDF4 months ago