group sparsity | BriefGPT - AI 论文速递

关键词group sparsity

搜索结果 - 7

少即多 —— 利用结构稀疏性构建简约的多任务模型
将结构组稀疏性引入共享参数的多任务学习框架中，通过在共享层中使用通道级别的 l1/l2 组稀疏性，以开发出能够有效处理多个任务的简化模型，其参数更少且性能可与密集模型相媲美或更优。
PDF10 months ago
具有先验信息的多任务学习
本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。
PDFa year ago
低资源口语理解的瓶颈低秩变换器
本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。
PDF2 years ago
ICMLAdam 促进整流神经网络隐式权重稀疏化
本文提出深度神经网络在训练过程中能自动诱导出权重的分组稀疏性，利用此现象我们可以在训练完成之后快速减少模型尺寸，同时不会对模型表现带来太大影响。
PDF6 years ago
ICLR结构性对抗攻击：向通用实现和更好的可解释性迈进
本文提出一种名为 StrAttack 的结构化攻击模型，通过滑动掩模来提取关键的空间结构并具有更好的可解释性，该模型能够实现与现有攻击方法相同水平的 Lp 范数失真的强组稀疏化。实验证明 StrAttack 在 MNIST、CIFAR-10
PDF6 years ago
数据驱动鉴定参数偏微分方程
本文介绍了一种基于数据驱动的方法，用于发现参数化偏微分方程，扩展了先前方法中对偏微分方程的鉴定，证明了群组顺序阈值岭回归在识别偏微分方程及其参数依赖性方面的性能优于群 LASSO。
PDF6 years ago
ICML组稀疏加性模型
本文提出了一种新的方法，名为群组稀疏性加性模型 (GroupSpAM)，可处理加性模型中的群组稀疏性，通过引入 Hilbert 空间内的 l1/l2 范数作为稀疏引导惩罚，推导出一种新的阈值条件来识别功能稀疏性，并提出一个高效的块坐标下降算
PDF12 years ago