- 带 Massart 噪声的半空间在线学习
在存在 Massart 噪声的在线学习任务中,我们研究了广义线性分类器的基本类,并提出了一个高效的算法,达到了错误界限,与在线对手对抗。我们还将在线学习模型扩展到 k 臂上下文强盗设置中,通过使用我们的 Massart 在线学习器设计了一个 - 关于损失和基于不确定性的主动学习算法的收敛性
我们研究了在各种假设下,损失和基于不确定性的主动学习算法的收敛速度。首先,我们给出了一组条件,用于线性分类器和线性可分数据集,以展示对基于损失采样和不同损失函数的收敛速度保证。其次,我们提供了一个框架,通过应用已知的随机梯度下降算法的收敛速 - 学习线性分类器混合模型的 SQ 下界
学习高斯协变量下的线性分类器混合问题,主要结果是一个统计查询(SQ)下界暗示已知算法对于该问题基本上是最佳的,甚至对于均匀混合的特殊情况。
- 相对内在维度与学习的内在性
高维数据具有令人惊讶的特性:仅使用简单的线性分类器就可以高概率地将数据点配对分开,甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念,精确地捕捉了数据的可分离性质。对于这个内在维度,以上的经验法则成为一条规律:高内在维度保证了数 - ACL线性分类器:文本分类中经常被遗忘的基准线
本文旨在强调将简单的基线方法与先进的模型(如 BERT)一起运行以获得最佳结果的重要性和有效性。实验结果表明当应用正确时,先进模型的表现才会最佳,对于许多文本数据,线性分类器等简单基线方法仍然具有竞争性,高效稳定。
- 异质斜向双重随机森林
研究探讨了使用多个线性分类器的异构斜交双随机森林 (heterogeneous oblique double RaF) 用于特定疾病的预测,相较于基础模型该模型的表现更佳,并可以更好的捕捉数据的几何特性和生成更大的树。
- 如何使用协作瓦片多智能体系统解决分类问题?
该论文介绍了 smapy,一个基于集成的 AMAS 实现,应用于移动预测,其代理具备机器学习模型以及合作规则,通过协作式的多智能体结构中将分类问题转化为输入变量空间的合作瓦片图。实验结果表明,线性分类器在非线性场景下经过合作式的多智能体方法 - 在潜空间中提炼模型失败方向
本文介绍了一种自动提取模型误差模式的方法:使用线性分类器来识别一致的错误模式,并将其表示为特征空间内的方向。使用此框架,结合扩散模型,能够自动发现训练数据集中具有挑战性的子人群,进而进行数据扩充,以改善模型失效的情况。
- 通过从共享空间投影简化多语言新闻聚类
该研究提出了一个能够在多种语言中聚类新闻文章的在线系统,利用多语言上下文嵌入作为文档表示,由线性分类器聚合相似文件,通过在线合并来纠正相关的多语言聚类,并在多语言新闻流聚类数据集上取得了最新的成果。
- ICML因果算法对抗鲁棒性
该论文研究算法性救济,包括在自动化决策系统中提供可行的建议,如何在相关不利的情况下提供建议并保持鲁棒性,通过正则化决策分类器来促进鲁棒救济。
- 使用自监督转换器的通用语音语音语言表示
本研究介绍了一种基于 Conformer 架构的自我监督训练的优秀的全语境表示法,应用于多元语音任务,分析了上下文窗口的大小并证明了小窗口仍能取得接近最优表现。
- 在 Poincare 球中高度可扩展且可证明准确的分类
该论文提出了一种基于 Poincaré ball 模型的统一框架,用于构建可伸缩、简单的超几何线性分类器,并给出了凸优化的解决方案,该算法在合成数据集和真实数据集上的表现均有很高的准确率。
- ICML双重加速快速实现边缘最大化
介绍了一种基于动量的梯度方法,使用最大化分类间隔相结合的凸对偶来训练线性分类器,表现出优异的性能
- CVPR从单一正样本实现多标签学习
研究一种新的多标签图像分类问题,针对训练数据需要手动标注出所有适用标签的挑战,探索使用缺失标签进行学习的特殊情况,并尝试通过线性分类器和端到端微调深度网络提出新的损失函数来解决这个问题。结果表明,在一些情况下,使用更少的标签进行训练可以接近 - 混合线性测量下稀疏信号的支持恢复
该研究讨论了对于罕见的矢量从简单的测量中进行支持恢复,并考虑了混合线性回归和分类器模型,以及在这些模型中使用的算法。
- 分类学习的核心集 - 简化与加强
给定一种数据矩阵和标签向量,我们使用基于 $l_1$ 拉索 (weight) 的数据子采样方法构建相对误差 Coresets,用于训练包括逻辑损失和铰链损失在内的一系列损失函数的线性分类器,其结果不仅在理论上得到了显著提高,而且在实践中表现 - 干净标签攻击下的鲁棒学习
本篇研究了在干净标签数据污染攻击下的强健学习问题,主要关注了攻击能力、PAC 样本复杂度以及线性分类器的不可信等方面。
- LQF:线性二次调优
本文介绍了一种名为 LQF 的线性优化模型,使用 Leaky-ReLU 激活函数、平均平方误差损失函数和 Kronecker 矩阵分解的预处理方式,使得该模型在大多数实际图像分类任务中具有与非线性优化方法相当的性能,且具有线性模型的可解释性 - 战略分类的 PAC-Learning
本文通过引入战略 VC 维来推广对敌方攻击机器学习模型的研究,并针对基本的线性分类问题实例化了该框架。研究结果表明,线性分类器的 SVC 总是被其标准 VC 维上界所限制。
- 了解超出分布广义化的失效模式
研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素,并通过理论研究和实验构建证明,认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。