- 为视觉领域扩展白盒变压器
CRATE-$\alpha$ 是一种基于稀疏推理的白盒变换器架构,通过对 CRATE 结构进行小幅改进和轻量级训练,能够实现较大模型规模和数据集的可扩展性,同时保持模型的可解释性和提高模型性能,例如在 ImageNet 分类上的准确率达到 - SALSA-CLRS:一种稀疏且可扩展的算法推理基准
我们介绍了对 CLRS 算法学习基准的扩展,重点是可扩展性和稀疏表示的利用。我们提出了 SALSA-CLRS,这是当前 CLRS 基准的一个扩展,具有可扩展性和稀疏性的特点。我们的方法包括从原始 CLRS 基准中调整的算法,并引入了来自分布 - 使用离散潜变量学习表征的稀疏性
本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型,可以通过限制表征的非零特征的数量实现数据的稀疏学习,其生成的稀疏表示可以根据观察本身调整,并使用 Gumbel-Softmax 分布进行两步采样生成,采取蒙特卡罗梯度估计器的变分方法进 - 在线注意力核强化学习
本文提出了一种在线注意力核在线学习算法 (OAKTD),使用核模型的基值函数来评估价值函数,其中利用到了稀疏表示和注意机制,通过实验评估发现 OAKTD 在一些公共任务上优于其他在线 Kernel-based Temporal Differ - 学习稀疏表示中的荒诞权重和逐个查询评估得分的复仇
本文研究基于学习稀疏表示的检索模型,并探讨单次得分查询评估技术在其上的应用。通过实验比较文档逐一与单次得分方法,发现前者的平均查询延迟更低,但单次得分方法具有更可预测的查询延迟,本研究表明,如果能同时承受三个百分点的效率损失,则单次得分法可 - SIGIRSPLADE: 用于第一阶段排序的稀疏词汇和扩展模型
本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器,具有高度稀疏的表示,与最先进的密集和稀疏方法相比取得了有竞争力的结果,并探讨了效率和效果之间的平衡。
- EMNLP二值化稀疏表示实现高效文本检索的超高维度方法
本文提出了一种超高维度的表示方案,结合了符号和潜在形式的稀疏表示和神经模型的密集表示,具有直接可控的稀疏度,可以用于高效存储和搜索,并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。
- CVPR通过神经网络和稀疏编码同时训练来学习不完整特征
该研究解决了在有不完整的特征数据集的情况下训练分类器的问题,开发了一种新的有监督学习方法,在假设数据矢量在未知字典上是稀疏表示的条件下,使用每个样本的特征子集来训练一个通用分类器,并且通过提出的充分条件,该方法在人工和公开数据集上验证其理论 - SparTerm:学习基于词项的稀疏表示以实现快速文本检索
本文提出了一种名为 SparTerm 的框架,旨在将预训练语言模型的深度知识转移至基于词袋法的稀疏表示,以提高其语义级匹配的表达能力,同时保持其效率、可解释性和准确性,并在 MSMARCO 数据集上获得了 state of the art - ICLR最小化 FLOPs 来学习高效稀疏表示
提出了一种基于正则化函数的方法,学习高维稀疏表示,以在视觉检索中提高效率,其表现与其他基线方法相竞争,且在实际数据集中具有类似或更好的速度精度平衡。
- ICLR模糊平铺激活:一种在线学习稀疏表示的简单方法
本文介绍了一种通过构造稀疏表示的激活函数,防止神经网络中的干扰和噪音,并探究其在在线学习和深度强化学习中的应用。该函数能在大多数环境下进行稳定策略学习,无需目标网络。
- 元学习表征用于连续学习
本文提出了一种称为 OML 的目标,其直接最小化灾难性干扰,通过学习在持续学习的在线更新过程中加速未来学习和对遗忘有弹性的表示,我们表明可以学习到更有效的在线更新的自然稀疏表示,并且该算法是现有持续学习策略,如 MER 和 GEM 的有效补 - 如何使用高度稀疏的表现形式获益?
本文发现,尽管目前大多数人工神经网络都采用密集表示,然而生物神经网络却采用稀疏表示。我们研究发现,只要稀疏表示的维度足够高,那么这种表示在噪声和干扰方面会更加稳健。同时,我们还提出了一个关键的洞察力,即围绕稀疏向量的可操作体积与表示空间体积 - 稀疏表示在强化学习控制中的应用
本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示,在经典控制域中递增地学习控制策略的表现,证明了稀疏表示更加有效,因为其提供了局部性,避免了灾难性的干扰,特别是保持了稳定的值来引导学习。同时,称之 - 局部处理的卷积字典学习
本文介绍了基于局部稀疏度量的全局模型,解决了传统基于补丁的稀疏表达的限制,通过操作图像补丁来解决卷积稀疏追踪问题并训练涉及的滤波器,为图像修补和分离问题提供了一种直观的算法。
- Trainlets: 高维字典学习
本文介绍了一种新的基于裁剪小波分解的算法,可以用于更大尺寸的图像处理和信号处理,并结合在线稀疏字典学习算法进行自适应字典训练,得到大的可适应原子 - trainlets。
- 特征合奏:判别特征选择遇见无监督聚类
本文提出了一种高效的算法,以一种高效、紧凑的方式从候选项中发现输入特征或分类器的稀疏表示,用于大规模识别,并在训练速度和性能方面显着优于传统方法和强大的分类器,特别是在有限的训练数据的情况下。
- 稳定主成分追踪的变分方法
本文提出了一种稳定主成分追踪的新凸优化形式以将噪声信号分解为低秩和稀疏表示,首先通过凸变分框架发展了一种数值解,并通过拟牛顿法加速解法,实验结果表明该方法在可扩展性和实际参数选择方面优于传统的稳定主成分追踪形式。
- 双形体投影中的套索筛选规则
本文提出一种基于 Dual Polytope Projections 的高效筛选规则,以找到稀疏表示中的无效预测器,以提高解决大规模 Lasso 问题的效率,并将此筛选规则扩展到组 Lasso 中以识别无效组。
- 基于边际回归的平滑稀疏编码学习稀疏表示
本文提出并分析了一种基于核平滑和边缘回归的新型稀疏表示学习框架,该方法提供了一个灵活的框架,通过非参数核平滑技术,将特征相似性或时间信息纳入数据集中,这对于稀疏编码、半监督稀疏编码等任务具有重要作用。我们提出了 Smooth Sparse