SLM: 稀疏可学习掩模的端到端特征选择
多视图稀疏拉普拉斯特征映射是一个基于图的方法,通过多次观察数据以构建更强健和信息丰富的高维数据表示,通过稀疏特征分解和优化算法来降低数据维度并获得一个特征集。作者在 UCI-HAR 数据集上进行实验证明即使将特征空间减少 90%,支持向量机(SVM)的错误率仅为 2.72%,且在整体特征空间减少 80% 的情况下 SVM 精度为 96.69%。
Jul, 2023
我们提出了一个新颖的框架,通过考虑模型的预测结果来选择特征。我们使用一种新颖的特征屏蔽方法,在选择过程中消除特征,而不是完全从数据集中删除它们,从而可以在特征选择过程中继续使用同一 ML 模型。我们通过 ML 模型的预测结果获得屏蔽运算符,为模型的预测性能提供了关键特征子集的全面视图。我们使用 LightGBM 和多层感知机作为 ML 模型,在不同设置下的真实数据集上展示了显著的性能改进。此外,我们公开分享了我们方法的实现代码,以鼓励在此领域的研究和贡献。
Jan, 2024
本论文提出了一种轻量级掩膜生成器的技术,采用长短掩膜对 S4 模型进行改进,从而更有效、准确地模拟视频中的长期时空依赖关系,并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性,降低了 23%的内存占用。
Mar, 2023
半监督学习中存在数据利用有限的挑战,本研究介绍了一种全新的算法,利用未标记数据来提升半监督学习的性能,并取得了最先进的结果。
May, 2024
通过在数据中引入不可察觉的噪声来保护医学数据的隐私,在医学影像数据中应用新方法,选择性地扰乱重要像素区域,提高数据保护的效率和效果,防止未经授权对深度学习模型进行训练。
Mar, 2024
SCE-MAE 是一个高度有效且稳健的框架,在标记数据不可用的情况下,通过使用 MAE 方法、基于特征图进行操作以及使用密度峰聚类算法和局部受限排斥损失来直接提取部分局部对应关系,大幅超越了现有 SOTA 方法约 20%-44% 的地标匹配和约 9%-15% 的地标检测任务。
May, 2024
本文提出了一种基于新颖非凸正则化器的多任务稀疏特征学习的非凸公式,并提供了多阶段多任务特征学习算法的详细收敛和可重复性分析,理论分析指出该方法与现有凸公式相比较为优越,在合成和真实数据集上,实证研究表明 MSMTFL 比现有多任务稀疏特征学习算法更为有效。
Oct, 2012
我们研究了机器学习中一个非常关键的问题,即特征选择,针对该问题存在的挑战,我们提出了一种叫做 “自适应特征选择与二进制掩蔽” 的方法,该方法通过联合优化实现了同时进行特征选择和模型训练,并能够在训练过程中动态地适应特征的重要性变化,从而显著提高了模型的准确性并减少了计算需求。
Jan, 2024
通过引入时间跨度遮蔽(TSM)中间训练,我们在已有的 Salient Span Masking(SSM)的基础上进行了研究,发现 SSM 单独对三项时间任务的下游性能有所提高,可以通过增加 TSM 任务进一步提高平均 0.29 分,并自主探究了 SSM 的知识来源与对模型性能的影响。
Mar, 2023
使用大型视觉 - 语言模型,如 Stable Diffusion(SD),通过提出 SLiMe,可以以一张标注示例图像为代价,将图像分割为所需的任意粒度。在推理期间,SLiMe 能够以训练图像中分割区域的粒度对任意真实世界图像进行分割,只需一个示例图像。此外,利用其他可用的训练数据(即少样本)可以提高 SLiMe 的性能,我们的实验证明 SLiMe 优于其他现有的一次和少样本分割方法。
Sep, 2023