- 潜在表示的重要性:一次性绘画任务中的人类般素描
通过研究不同归纳偏差对潜在扩散模型 (Latent Diffusion Models, LDMs) 的潜在空间的影响,我们发现具有减少冗余和基于原型的正则化的 LDM 几乎能够产生接近于人类的图画,使其在样本的可识别性和原创性方面更好地模拟 - MESA: 匹配一切通过分割任何物体
在计算机视觉领域中,特征匹配是一项至关重要的任务,先前的研究在使用基于学习的特征对比时取得了显著的性能。然而,图像之间存在的匹配冗余普遍导致这些方法中的不必要和容易出错的计算,限制了其准确性。为了解决这个问题,我们提出了 MESA,一种用于 - AAAI重要信息检索以分类偏好贸易协定的非结构化数据内容
通过嵌入技术减少冗余信息并使用 BERT 进行文本分类,有效提高了长文本的分类性能,同时大大降低了计算复杂度。这一研究为自然语言处理领域的研究人员和工程师提供了有价值的参考。
- 利用层次特征共享优化数据集压缩
本篇研究提出了一种新的数据参数化架构,分层记忆网络(Hierarchical Memory Network),用于在图像分类中对数据进行压缩和信息共享,实验结果表明该方法在多个公共数据集上超过了当前的基线方法,且在 GPU 内存占用较少的情 - 更多的协同作用、更少的冗余:利用联合互信息进行自监督学习
本论文探讨了互信息在自监督学习(Self-supervised learning,SSL)中的作用,并引入了 PID 方法来最小化视图间冗余信息和最大化协同信息,提出了一种新的 SSL 训练协议。在多个数据集和下游任务上进行了广泛的实验,证 - Road Barlow Twins:道路环境描述和运动预测中的冗余降维
为了确保自动驾驶车辆的安全运行,预测交通代理的未来运动至关重要。本文提出了一种新颖的自监督预训练方法和变压器模型来实现运动预测。
- 能量模型中特征多样性
本文研究能量学习及能量模型,重点关注特征集的多样性和冗余性的影响,利用 PAC 理论推导出各种上下文中的泛化界限,并表明减少特征集的冗余性可以提高模型的性能。
- HOME: 高阶混合矩基于的嵌入表示学习
本文提出了基于高阶混合矩嵌入(HOME)策略的自监督表示学习方法,利用高阶统计信息来减少特征变量之间的冗余,实验结果显示,该方法在线性评估方面显著优于当前的二阶基线方法(即 Barlow Twins)。
- IA-RED$^2$: 针对 Vision Transformers 的可解释性感知冗余减少
本论文提出了一种基于可解释性的冗余缩减框架 (IA-RED$^2$) 来加速计算机视觉中的 transformer 模型,在丢失不到 0.7% 的精度的同时,最大速度提升了 1.4 倍,并且具有可靠的可解释性。
- ICLRVA-RED$^2$: 视频自适应冗余度减少
本文介绍了一种名为 VA-RED^2 的新型冗余特征减少框架,可用于深度学习模型的视频推断,通过输入依赖的策略来减少时间和通道维度的计算量,实现了 20%-40%的计算(FLOPs)减少而无需牺牲性能。
- AAAI视频字幕的语义分组网络
本文提出了基于语义分组网络(SGN)的视频字幕生成模型,通过学习算法去捕捉部分解码的字幕词组并将其与相关联的视频帧建立映射,从而实现语义相关的视频帧聚类和冗余信息的减少,创新性地提出了一种对齐方法,通过不断更新的解码单词动态更新视频表示,最 - ECCV代表性图神经网络
本论文提出了一种名为 RepGraph 层的新型非本地操作方法,通过动态采样一些代表性特征来极大地减少冗余计算,该方法在语义分割和物体检测等任务上,与现有方法相比具有明显的竞争优势。
- IJCAI拆分为瘦:香草卷积中被忽视的冗余
提出一种名为 SPConv 的卷积操作,以较低的计算量容忍具有相似特征图案的冗余特征,通过无需额外参数的特征融合模块实现计算加速并取得了良好的实验结果。
- ICML通过结构冗余减少研究通道剪枝 -- 统计研究
本研究从网络层面出发探讨通道剪枝问题,提出高冗余层的随机剪枝方案能够更有效地提高神经网络的计算效率和准确性。
- ECCV基于滤波器组逼近的极端网络压缩
该论文提出了一种基于滤波器组逼近的新型分解方法,该方法可以显著减少深度卷积神经网络中的冗余,同时保持大部分特征表示,通过在每层中利用滤波器组结构,相比于其他基于低秩分解算法,我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量 - V1 中的自然图像编码:方向选择性有多少用处?
研究表明,在视觉皮层 V1 中,方向选择性源于自然图像中高阶冗余关联的降低,而线性独立成分分析模型 (ICA) 能够比主成分分析 (PCA) 更好地去除这种冗余,但我们发现 ICA 滤波器的优势非常小,并且简单的球对称分布可以比 ICA 更