parameter efficiency | BriefGPT

关键词parameter efficiency

搜索结果 - 75

YOLO-TLA：基于 YOLOv5 的高效轻量级小物体检测模型
我们在本文中提出了 YOLO-TLA，这是一种基于 YOLOv5 的先进物体检测模型，通过在颈部网络金字塔架构中引入一个额外的检测层来检测小对象，从而提供一个更大尺度的特征图以辨别小对象的更细致特征，并将 C3CrossCovn 模块集成到
PDF4 months ago
EMNLP贝叶斯多任务转移学习用于软提示调优
我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。
PDF5 months ago
ACL跨语言迁移的软提示调整：少即是多
通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参
PDF5 months ago
ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构
图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高
PDF7 months ago
通过双提示学习实现高效多模态语义分割
通过采用冻结预训练的 RGB 模型，并结合双提示学习模块（多模态提示生成器和多模态特征适配器），DPLNet 在多模态语义分割任务中达到了新的最佳性能，同时保持了参数的高效利用。
PDF7 months ago
Tied-Lora: 提升 Lora 的参数效率通过权重绑定
我们提出了 Tied-LoRA，这是一个简单的范例，利用权重绑定和选择性训练来进一步提高 Low-rank 适应（LoRA）方法的参数效率。我们的研究包括将可行的参数训练 / 冻结与权重绑定相结合，以寻找性能和可训练参数数量之间的最佳平衡。
PDF8 months ago
PELA: 学习具有低秩近似的参数高效模型
通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实
PDF9 months ago
稀疏通用变压器
提出了 Sparse Universal Transformer (SUT)，利用稀疏专家混合（SMoE）和基于断裂棒的动态终止机制来减少 UT 的计算复杂性，同时保持其参数效率和泛化能力。实验证明，SUT 在 WMT'14 上仅使用一半的
PDF9 months ago
FNOSeg3D: 鲁棒分辨率三维图像分割与傅里叶神经算子
FNOSeg3D 模型通过 Fourier 神经算子（FNO）提高了参数效率和分辨率鲁棒性，在 BraTS'19 数据集上表现出优于其他模型的鲁棒性。
PDF9 months ago
KernelWarehouse：面向参数高效动态卷积
通过重新定义动态卷积中的基本概念，并采用策略性的卷积核分割和仓库共享，提出了一种更高效的动态卷积方法 KernelWarehouse，实现了参数效率和表征能力的有利平衡，并通过在 ImageNet 和 MS-COCO 数据集上的实验证实了其
PDFa year ago
ICCV从精度冗余的角度重新审视适配器的参数效率
透過將輕量級適配器插入凍結的預訓練模型並使用低精度量化方法以減少存儲空間，本研究發現低精度的適配器達到與高精度適配器相當的性能，且 1 位精度就足夠。
PDFa year ago
基于提示的多任务稠密预测 Transformer
本文介绍了一种简单且轻量级的任务条件模型，名为 Prompt Guided Transformer (PGT)，通过设计一个 Prompt-conditioned Transformer 块，在自注意机制中引入任务特定的提示，以实现全局依赖
PDFa year ago
核化归一化流
本研究提出了 Ferumal 流，一种新型的基于核的归一化流范式，将核函数与框架结合。结果表明，与基于神经网络的流相比，基于核的流可以在保持参数效率的同时产生竞争性或更好的结果。基于核的流在数据稀缺情况下表现出色，可在应用中进行灵活的非参数
PDFa year ago
神经网络中线性群的学习
本文介绍了一种神经网络的架构 —— 线性群网络 (LGNs)，其不需要提前规定对称性，在不需要监督或知道数据中隐藏的对称性的情况下，学习作用于神经网络权值空间上的线性群，并且可映射到机器学习中的已知操作。我们使用 LGNs 在多个数据集上学
PDFa year ago
ICLR基于实证分析的 PEFT 技术在 LLM 中的优势和劣势
本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning（PEFT），并通过对 FLAN-T5 模型的综合测试和分析，提出了选择 fine-tuning 技术的最佳方法，
PDFa year ago
只用公共数据集构建强大可复现的物体检测器
本文提出了 Focal-Stable-DINO，一个强大且可复制的物体检测模型，仅使用 700M 参数即可在 COCO val2017 上达到 64.6 AP，在 COCO test-dev 上达到 64.8 AP。与现有 SOTA 模型不
PDFa year ago
从宽到深：用于参数高效知识图谱嵌入的维度提升网络
该文提出了一种深度嵌入网络技术 - LiftNet，通过提高网络层数和减少参数数量的方式，实现在不损失准确性的情况下实现知识图谱嵌入的参数效率，并在三个公共数据集上实现比传统方法更准确的链路预测结果。
PDFa year ago
解决旅行推销员问题的无监督学习
我们提出了 UTSP，这是一个用于解决旅行推销员问题（TSP）的无监督学习框架，使用基于图神经网络（GNN）的代理损失。该方法在参数效率和数据效率方面优于目前的数据驱动 TSP 启发式方法。
PDFa year ago
CVPRFAME-ViL：用于异构时尚任务的多任务视觉语言模型
本文提出了一种针对时尚多种异构任务的多任务高效学习方法 ——FAME-ViL，该方法通过引入跨注意力适配器和任务特定适配器到统一的 V+L 模型中，加上稳定而有效的多任务训练策略，能够显著地提高参数效率和任务性能。
PDFa year ago
基于 SURE 基准的参数高效迁移学习方法在语音理解领域的评估
本文介绍了一种针对语音处理任务的参数高效学习算法 —— 适配器（adapters）以及一种新的名为 ConvAdapter 的适配器，它利用一维卷积来代替全量微调。实验证明，ConvAdapter 在某些任务中的表现优于标准适配器，且与前缀
PDFa year ago