本论文提出了一种称为 LUPI-HCRF 的模型，它将 LUPI 集成到隐藏条件随机场模型中，并使用学生 t 分布来增强对离群值的建模。实验结果表明，该方法在识别人类活动方面具有较好的性能，优于现有的 LUPI 框架。

Aug, 2017

在计算机视觉领域引入了一种名为 LUPI 的学习框架，利用属性、边界框或图像标记等特权信息来加快计算机对象识别速度，探索利用多义分类和二分类最大间隔技术来提高分类器在原数据空间的分类能力。同时，研究人员发现利用特权信息能够显著提高分类精度。

Oct, 2014

本研究探讨了运用特权信息（privileged information）提高机器学习系统的样本效率和性能的方法，研究表明采用 Privileged Information Dropout 在强化学习任务中（无论是基于值还是基于策略的 RL 算法）都比其他方法如蒸馏（distillation）和辅助任务（auxiliary task）具有更优的性能，并能够成功利用不同类型的特权信息，最后分析了其对学习表现的影响。

May, 2020

将学习使用特权信息的理论扩展到文本分类领域，提出了一种通过文本 - 图像扩散模型生成人工特权信息的文本分类框架，并将生成的图像和原始文本样本用于训练多模态教师模型，最终将多模态教师的知识融合到文本（单模态）学生模型中，进而通过生成模型引导学生模型的训练，从而在四个文本分类数据集上取得显著的性能提升。

Sep, 2023

在深度学习中添加一种正则化项，即注入信息失真噪声，可以更好地强制执行最优表示的关键属性。信息 dropout 是对 dropout 的一种改进，可以更好地适应数据和网络结构，同时可以生成区分度良好的表示。

Nov, 2016

本文提出了轻量级模型不可知的方法 Informative Dropout (InfoDrop)，通过自信息区分纹理和形状并采用去相关模型的 Dropout-like 算法来改善模型的可解释性和减少纹理偏见，在不同的场景下 (领域泛化、少样本分类、图像毁损和对抗扰动) 观察到增强的鲁棒性，这是改善统一模型天生鲁棒性的最早尝试之一，为可信赖的机器学习算法提供了新思路。

Aug, 2020

该研究提出了一种名为 LATENT 的本地差分隐私算法，该算法通过将卷积神经网络架构分为卷积模块、随机化模块和全连接模块，并使用新的差分隐私协议实现随机化模块作为网络功能虚拟化隐私保护服务，在边缘 - 云协同中使得保护隐私的深度学习在物联网环境下更加实用。

Aug, 2019

Pi-DUAL 是一种利用特权信息来减轻标签噪声的简单、可扩展和实用的方法，通过将输出的逻辑分解为基于传统输入特征的预测项和仅受特权信息影响的噪声适配项，Pi-DUAL 能够自适应地在这两个项之间切换焦点，从而使模型隐性地区分干净标签和错误标签的学习路径，实现了在关键特权信息基准上显著提高性能（例如，在 ImageNet-PI 上提高了 6.8% 的测试集准确率），此外，Pi-DUAL 也是一种在训练后识别嘈杂样本的有效方法，在这方面超过了其他强大的方法。

Oct, 2023

本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。

Jun, 2018

本文提出了一种新的组正交卷积神经网络（GoCNN），可以利用提供的特权信息在每个层内学习解缠绕表示，并有效地增强表示多样性。实验证明，GoCNN 模型可以提高深度卷积神经网络在图像分类任务中的性能，并仅使用 10％的特权信息即可实现这一目标。

Jan, 2017