本研究提出了一种解决现有解释方法所引发的超出分布问题的方法,其通过将每个标记边缘化来解释情感分析和自然语言推理等 NLP 模型的预测结果。
Oct, 2020
我们提出了一种新颖且简单的方法,称为 Multiple Input Mixup(MIM),它可以通过单次 fine-tuning 改善 OOD 检测性能,而无需从头训练模型。我们的方法仅利用 ID 样本生成合成的 OOD 数据,且在 CIFAR10 和 CIFAR100 基准测试中展示出与 SOTA 方法相比更出色的性能,且不需要对特征向量进行额外计算。
Dec, 2023
本文提出一种名为 Input Optimisation Network 的图像预处理模型来学习优化输入数据以适用于特定目标视觉模型,研究了在自动驾驶车辆的语义分割场景中,使用 Input Optimization 的解决方案比使用增强训练数据和对抗性预处理模型更具竞争力,并且结合使用 Input Optimization 网络和微调模型的联合优化方法达到了更好的性能表现。
Nov, 2022
本文提出了一种统一的方法,以验证数据插补对于学习准确模型是否必要,并在插补不必要的情况下返回准确模型。通过我们的算法,可以显著减少数据插补所需的时间和工作量,并且不会带来明显的计算负担。
Feb, 2024
本文介绍了一种简单的方法来训练神经网络,使得每个测试查询时间内能够进行多元化的结构性预测,同时比现有方法具有更好的多样性和速度。在 2D 图像填充,3D 体积估计和流场预测等三个具有挑战性的任务中,我们的方法得到了量化的改进。
Aug, 2020
为了使卷积神经网络更易于解释,我们提出了一种被称为层遮蔽的遮蔽技术,可以模拟仅对未遮蔽的输入运行 CNN 的效果,并发现该方法能够消除 CNN 与变压器之间的可解释性差距,甚至在许多情况下使 CNN 更易于解释。
通过使用多假设 dropout 和一种新颖的随机分胜负损失函数,本文提出了一个混合多输出函数 (MoM) 方法,该方法不仅估计均值而且估计假设的方差,并在监督学习和无监督学习问题上实验验证了其性能优越性。
本文研究了带有累积评分函数的遮蔽预训练模型,证明该方法优化模型边际似然,从而取得了预训练的成功效果,并且推荐用类似方法来训练贝叶斯模型,同时还探讨了在大型语言模型中使用遮蔽预训练的主要学习原则。
Jun, 2023
本文提出了一种结合生成模型和模型不确定性的不确定性感知机器人感知方法,用于处理源自超出分布状态的不确定性。
Dec, 2018
该研究提出了一种 Differentiable Masking 的方法,通过预测而非搜索的方式学习掩蔽输入的子集,以此解决模型剪枝的过于激进以及揭示模型层之间的决策形成,研究了 DiffMask 在 BERT 模型上对情感分类和问答的应用。
Apr, 2020