将学习使用特权信息的理论扩展到文本分类领域，提出了一种通过文本 - 图像扩散模型生成人工特权信息的文本分类框架，并将生成的图像和原始文本样本用于训练多模态教师模型，最终将多模态教师的知识融合到文本（单模态）学生模型中，进而通过生成模型引导学生模型的训练，从而在四个文本分类数据集上取得显著的性能提升。

Sep, 2023

在计算机视觉领域引入了一种名为 LUPI 的学习框架，利用属性、边界框或图像标记等特权信息来加快计算机对象识别速度，探索利用多义分类和二分类最大间隔技术来提高分类器在原数据空间的分类能力。同时，研究人员发现利用特权信息能够显著提高分类精度。

Oct, 2014

通过使用基于语言模型的学习方法，我们在多语言文本分类数据集上提出了几种数据蒸馏技术，来增强文本数据蒸馏领域中的跨体系结构泛化能力，并分析了它们在分类强度和跨体系结构泛化方面的性能，也研究了这些方法生成的数据摘要的语言特定公平性。

Aug, 2023

通过 LeTI 使用文本交互进行微调，通过 Python 解释器的错误消息和堆栈跟踪作为反馈，明显提高了两种基本 LM 的性能，孰不经验地证明了 LeTI 同样适用于自然语言任务，并观察到了对比二进制反馈，文本反馈将导致改进的生成质量和样本效率。

May, 2023

本论文提出了一种称为 LUPI-HCRF 的模型，它将 LUPI 集成到隐藏条件随机场模型中，并使用学生 t 分布来增强对离群值的建模。实验结果表明，该方法在识别人类活动方面具有较好的性能，优于现有的 LUPI 框架。

Aug, 2017

通过使用特权信息控制不确定性，对卷积神经网络和循环神经网络进行了学习优化，提高了学习的样本效率，并在图像分类和机器翻译中进行了实验证明。

May, 2018

通过训练一个语言模型生成信息丰富的合成训练样本作为文本数据，我们提出了一种新颖的文本数据集精炼方法，称为 Distilling dataset into Language Model (DiLM)。我们在各种文本分类数据集上评估了 DiLM，并展示了从 DiLM 中获得的合成数据集胜过当前核心集选择方法的结果。DiLM 在训练不同类型的模型和大型语言模型的上下文学习中取得了显著的泛化性能。

Mar, 2024

本研究探讨大型视觉语言模型 (LVLMs) 的偏好提取，提高其生成有助于和忠实于视觉上下文的回应能力。通过构建视觉语言反馈 (VLFeedback) 数据集并采用 Direct Preference Optimization（DPO）方法，研究人员实现了 Silkie 模型，其在感知和认知能力方面相对提高了 6.9％和 9.5％，同时在 MMHal-Bench 基准测试中取得了 3.02 的最优成绩，证明 DPO 与 VLFeedback 数据集主要提升了 LVLMs 的细粒度感知和复杂认知能力，相比人工标注的偏好数据集实现了更全面的改进。

Dec, 2023

本研究通过使用 LSTM 网络和背景信息推荐系统，为写作任务提供积极信息检索，以提高搜索质量。

Jun, 2016

Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

Oct, 2023