- 应用信息瓶颈解决任务导向通信中的分布偏移问题
在这篇论文中,我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法,旨在提取紧凑且信息丰富的特征,以具备对领域转移和语义转移具有强大泛化能力的同时,在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明,该方案优于当前的最先进 - CVPR语义偏移增量适配器调整是一种持续的 ViTransformer
提出了一种增量调整的方法,通过逐渐调整共享适配器的参数而不施加参数更新约束,提高骨干网络的学习能力,并使用存储的原型进行特征采样以重新训练统一分类器,进一步改进性能,实验结果验证了该方法的有效性。
- ImageNet-OOD: 解析现代异常检测算法
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
- 面向未知领域的有效语义 OOD 检测:基于领域泛化的视角
语义领域间异常检测方法同时解决多个分布转变,并通过提出的领域泛化和异常检测正则化策略,在三个领域泛化基准测试中展示了其对于异常检测性能的卓越表现以及相当的 InD 分类准确度。
- ATTA:面向分割领域中的异常感知测试时间适应
本研究提出了一种双层离群分布检测框架,可同时处理领域漂移和语义漂移,通过全局低层特征和密集高层特征图来区分领域漂移和语义漂移,并能够选择性地调整模型以适应未知领域,并提高在检测新类别方面的效果。在多个离群分割基准测试中验证了所提出方法的有效 - ICML一石二鸟:利用野外数据实现区分数据泛化和检测
本文提出了一种新的 margin-based learning 框架,该框架利用公开的未标记数据,在同时泛化到协变量移位的情况下,鲁棒地检测语义移位。
- 数据增强对知识蒸馏的影响
本研究发现知识蒸馏与微调在数据增强方面的偏好不同,鼓励学者探索针对知识蒸馏的数据增强方法,且合适的语义漂移度(例如,更改 30% 的令牌通常是知识蒸馏的最佳选项),并发现对于小型数据集,较大的语义漂移度更加适合,直至出现超出分布的问题。
- 统一的超领域检测:基于模型视角
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该 - 社交媒体纵向监测中的语义漂移问题:COVID-19 疫情期间心理健康案例研究
本研究通过一个时时刻刻的案例研究 —— 了解 COVID-19 大流行期间抑郁症状的转变,探讨了在存在语义转换的情况下,仅包含少量语义不稳定特征,可能会促进目标结果的纵向估计产生显著变化的现象。同时,我们证明了一种最近引入的常量转换方法可以 - 全谱外部样本检测
本文提出了一种全光谱 OOD 检测的新问题,并设计了三个基准以测试算法性能。针对这个问题,我们提出了一个简单的面向特征的 SEM 方法来检测语义转移,可以更好地处理 FS-OOD 检测,并且 SEM 明显优于当前最先进的方法。
- EMNLP如何检测不同类型的离群文本
本文提供了关于 Out-of-distribution 检测方法的研究,发现在检测背景变化的数据方面,密度估计表现更好,而在语义变化的数据方面则模型校准表现更好。同时指出当前方法在挑战数据检测方面存在缺陷,需要对 OOD 进行明确的定义。
- EMNLP词类灵活性:一种深度上下文化的方法
本文提出了一种基于上下文化词向量探索词类灵活性的方法,并应用于 37 种语言,发现由于一定的上下文语境影响,单词在不同的语法类别中产生语义的位移现象,这支持了词类灵活性是一个具有方向性的过程的观点。
- 利用语境嵌入检测历时语义转移
本文提出了一种新的方法,通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明,该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能,无需在大型语料库上进行任何耗时