疑虑时:通过交替规范化改善分类性能
本研究介绍了一种新的正则化方法 —— 对抗性噪声层(ANL)及其高效版本 —— 类对抗性噪声层(CANL),通过在中间层激活中添加巧妙裁剪的噪声,能够明显提高 CNN 的泛化能力。与传统的对抗训练方法相比,使用 ANL 或 CANL 训练的模型更能抵御 FGSM 生成的对抗性样本。
May, 2018
使用 Condition-Aware Neural Network(CAN)方法,通过动态操纵神经网络的权重来控制图像生成过程,CAN 在 ImageNet 上的类别条件图像生成和 COCO 上的文本到图像生成方面实现了显著的改进。
Apr, 2024
本文提出了条件对抗网络 (CANs) 框架,旨在探索共享特征和标签预测之间的关系,以对共享特征施加更多的可辨识性,用于多领域文本分类 (MDTC)。CAN 引入了一个条件域鉴别器,同时对共享特征表示和类别感知信息建模,采用熵条件保证共享特征的可转移性。我们提供了 CAN 框架的理论分析,证明 CAN 的目标等价于最小化共享特征和标签预测的多个联合分布之间的总发散。因此,CAN 是一个理论上良好的对抗网络,其可以判别多个分布。在两个 MDTC 基准测试上的评估结果表明,CAN 优于之前的方法。进一步的实验表明,CAN 具有将学习到的知识推广到未见领域的良好能力。
Feb, 2021
本文提出了一种多类别分类问题的方法,称为候选项 vs. 噪声估计 (CANE),它选择少量的候选类别并对其余的类别进行抽样,并将 CANE 方法应用于在大型神经语言模型中估计单词概率,大量实验证明 CANE 方法在准确性和速度方面都取得了明显的优势。
Nov, 2017
本文提出了一种跨迭代批归一化(CBN)方法,利用多个最近的迭代中的样本共同估计统计量以增强估计质量,通过使用基于 Taylor 多项式的技术来补偿网络权重变化,以准确估计统计量,并在小型 mini-batch 情况下检测目标和图像分类任务中,CBN 显示出优于原始批归一化和对历史迭代的统计量直接计算的性能。
Feb, 2020
本文针对在线连续学习中使用批标准化(BN)时的非独立异分布和不稳定性的特征,提出 Continual Normalization (CN) 方法以缓解 BN 在老任务中的负面影响和低效率,并通过实验结果,说明 CN 可直接取代 BN 且可大幅提高性能。
Mar, 2022
通过引入一种称为 CACN 的创新方法,借鉴人类推理过程并利用大型语言模型的强大上下文学习能力,将社交媒体中的复杂和嘈杂的帖子分解为更简单易懂的格式,即标准化的主张。CACN 在各种评估指标上胜过了多个基准模型,并经过了严格的误差分析,验证了其能力和局限性。
Oct, 2023
本文章提出了一种基于对比适应性网络 (CAN) 的无监督域自适应方法来解决类别信息不足导致的领域差异偏差问题,并证明 CAN 在两个真实场景 Office-31 和 VisDA-2017 上表现优异,具有更好的特征鉴别能力。
Jan, 2019
提出一种名为 CoNAL 的文本分类方法,该方法包括生成新类别的样本与使用对比学习等两个步骤来降低模型对于新类别的过度自信,实验结果表明与其他方法相比在不影响模型对已有类别分类能力的前提下,CoNAL 在处理新类别上有着更好的性能。
Nov, 2022
提出了一个名为 AltUB 的解决方案来改善基于正常流的性能稳定性,使其在无监督异常检测任务中达到了最新的最先进表现,并在 MVTec AD 数据集上实现了 98.8%的 AUROC。
Oct, 2022