- 探索大型语言模型中的上下文学习决策边界
通过探究决策边界对上下文二分类的定性行为,我们发现现有的大型语言模型在简单的二分类任务中学习到的决策边界通常是不规则且非平滑的,本论文研究了影响这些决策边界的因素,并探讨了提高它们泛化能力的方法。通过评估各种方法,包括对大型语言模型的无需训 - WiOpen:一种稳健的基于 Wi-Fi 的开放式手势识别框架
WiOpen 是一个鲁棒的 Wi-Fi 基础的开放式手势识别框架,通过消除不确定性和定义明确的决策边界来解决 Wi-Fi 感应中的挑战,从而实现了开放式手势识别。
- ANALYTiC:机器学习中决策边界和降维的理解
使用主动学习和降维技术结合决策边界,提取轨迹数据中的模式和聚类特征,以提高轨迹标记的效率和准确性。
- 基于距离引导的生成对抗网络用于解释性二元分类
通过距离引导生成对抗网络(DisGAN)控制生成样本的变化程度,改善数据不足问题和描述二元分类决策边界的限制性,所提出的方法优于传统数据增强方法,适用于可解释的二元分类,并具有扩展成多类分类的潜力。
- 基于快速决策边界的离群检测器
提高了 Out-of-Distribution 检测的效率和效果的平衡,通过使用特征空间、决策边界和不需要辅助模型的方法,实现了与现有方法相媲美甚至更好的效果,并且在推理延迟方面几乎没有明显的开销。
- 重新思考 Mixup 以提高对抗性可迁移性
提出了一种基于输入转换的新攻击称为 MIST,通过将输入图像与随机平移的图像进行随机混合,并分离每个混合图像的损失项的梯度来对抗不准确的梯度,通过在每个输入样本上计算多个混合图像的梯度,MIST 在 ImageNet 数据集上的实验证明在卷 - 利用最近邻居改善分类器的决策边界
神经网络训练中,决策边界位于训练数据密度低的区域,受到少数训练样本的影响容易导致过度拟合;我们提供了一种简单的算法,通过对样本及其最近邻的预测(在潜在空间中计算)进行加权平均,以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。
- 完全连接 ReLU 层的几何结构
通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释,我们提出了 ReLU 层参数对输入域的自然划分,使得在每个划分区域内,ReLU 层可以大大简化;这导致了一个几何解释:ReLU 层可以看作是一个多面角投影,然后跟随一个仿射变换 - 对抗训练的分割原则
对抗性示例的存在揭示了深度神经网络的基本弱点。我们的主要贡献是一种通用方法,使分类器具有显着的鲁棒性,而其自然准确性的降低仅仅是微小或可忽略的。
- 连续扫描:一种改进的二进制量化器
通过引入连续扫描(Continuous Sweep)这种新的参数二值量化器来估计数据集的类别普遍性,其使用了参数类分布替代经验分布,优化了决策边界和采用了平均值,同时通过理论推导得到了偏差和方差的解析表达式。模拟研究结果表明,连续扫描在广泛 - KDDGraphSHA: 合成更难的样本以进行类不平衡节点分类
研究了现实世界图形场景中某些类别实例比其他类别实例少的数据不平衡问题,发现传统的图神经网络会低估少数类样本的子空间,提出了一种名为 GraphSHA 的总体框架,该框架通过合成更难的小样本来扩大少数类决策边界,并针对不同图神经网络骨干编码器 - CVPR利用特征级随机平滑提高对抗鲁棒性
通过引入随机性提高神经网络决策边界的平滑性并排除低置信度的预测,从而提高对抗样本的鲁棒性,并结合对抗检测方法以实现更好的效果。
- 消失的决策边界复杂度与强第一组件
通过研究神经网络的决策边界,发现深度学习模型的边界相对简单,但通过先前模型的决策边界可以研究最终模型的泛化能力,此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。
- MM利用背景作为未知元素的小样本开放式识别
该论文提出了一种新颖的方法来解决 few-shot open-set recognition 问题;首先,利用 background features 提取 pseudo unseen classes,将决策边界保留给 unseen cla - CVPR神经网络是否可以学习相同模型两次?从决策边界角度探讨可复现性和双重下降现象
探讨了神经网络决策边界和决策区域可视化的方法,并使用这些可视化方法研究神经网络训练中的可重复性和泛化问题。观察到模型体系结构(及其相关归纳偏差)的改变导致决策边界可见的变化,但同一体系结构下的多次运行产生的结果非常相似,特别是在宽体系结构的 - Redactor:基于数据和个性化的抵抗推理攻击的防御
研究信息泄露的问题,提出了利用针对性误导生成来强化机器学习模型对推理攻击的鲁棒性,即通过插入新数据来稀释原数据,使用多个分类器的决策边界进行概率标注。
- FROTE: 基于反馈规则的过采样编辑模型
本研究提出了一种基于反馈规则的过采样技术来处理机器学习模型的更新问题,能够在不断更新的规则下,更快速地重新训练模型,实现决策边界的快速调整和更新。
- AAAI多源交叉领域分类中基于领域特定分布和分类器的对齐
本文提出了一个两阶段的框架,用于多源无监督域适应问题,该问题包含了来自多个不同数据源的标记数据。该框架通过在多个特定特征空间中对每对源和目标域的分布进行对齐,以及利用领域特定的决策边界对分类器的输出进行对齐,以解决域内不变表示对于所有域的提 - ICLR加热决策边界:等电容饱和,对抗情景和泛化界限
利用布朗运动过程和概率技术研究分类器的决策边界,探究其几何行为与对抗攻击 / 防御机制之间的联系,并将布朗运动碰撞概率和柔性泛化界限联系起来。
- ECCVRemix:重平衡的混合数据增强方法
本文提出了一种名为 Remix 的新的正则化技术,它在深度图像分类器的分类不平衡的情况下可以使得深度图像分类器表现更好,并在多组实验中证实了 Remix 相较于现有的 Mixup、Manifold Mixup 和 CutMix 等算法在这个