Sep, 2023

利用生成的特权信息进行学习：基于文本到图像的扩散模型

PDF
TL;DR将学习使用特权信息的理论扩展到文本分类领域，提出了一种通过文本 - 图像扩散模型生成人工特权信息的文本分类框架，并将生成的图像和原始文本样本用于训练多模态教师模型，最终将多模态教师的知识融合到文本（单模态）学生模型中，进而通过生成模型引导学生模型的训练，从而在四个文本分类数据集上取得显著的性能提升。
learning using privileged informationknowledge distillationtext-to-image diffusion modelsmultimodal teacher modelstext classification
发现论文，激发创造
  • 学习转移特权信息

    在计算机视觉领域引入了一种名为 LUPI 的学习框架，利用属性、边界框或图像标记等特权信息来加快计算机对象识别速度，探索利用多义分类和二分类最大间隔技术来提高分类器在原数据空间的分类能力。同时，研究人员发现利用特权信息能够显著提高分类精度。

    Oct, 2014

  • 利用特权信息学习数字乳房 X 光片肿瘤分割

    使用特权信息学习技术以解决医疗数据可用性和可访问性的问题，通过在训练过程中获取特权信息知识改善数字乳腺 X 光照片上肿瘤分割的质量，实验证明该方法在大多数情况下表现更好，F1 评分比基线模型高出 10%。

    Feb, 2024

  • 基于特权时间序列文本的蒸馏提高基于文本的早期预测

    本文主要介绍了一种基于 LuPIET 的时间序列模型来进行文本预测的方法，借助被忽略的特权信息以提高模型性能，并应用于临床和社交媒体文本的早期预测任务中，结果表明该模型的性能更稳定有效，是第一项在 NLP 领域使用特权信息进行时间序列建模的相关研究。

    Jan, 2023

  • 基于特权医学成像信息的域泛化学习

    使用特权信息（如肿瘤形状或位置）来预测光学相干断层扫描中内层视网膜流体的严重程度，使深度学习模型在超出分布数据上的分类准确率从 0.911 提高到 0.934，为其他需要泛化的医学问题的特权信息使用提供了一个强有力的起点。

    Nov, 2023

  • 自适应 SVM+：使用特权信息进行域自适应学习

    本文提出了 Adaptive SVM + 的学习范式，利用特权信息来进行视觉识别任务的域适应设置，取得了在 Animals with Attributes and INTERACT 数据集上的最新成果。

    Aug, 2017

  • 隐私蒸馏：降低多模态扩散模型的再识别风险

    引入隐私蒸馏框架让文本到图像生成模型传授另一个模型而不暴露可识别数据，可以有效地减少再识别风险，同时维持下游性能。

    Jun, 2023

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024

  • 文本到图像扩散模型是零样本分类器

    通过使用扩散模型的去噪能力作为代理，将零样本分类器应用于 Imagen，探究其知识方面并与 CLIP 进行比较，结果显示 Imagen 与 CLIP 在零样本图像分类方面表现相当，同时在形状 / 纹理偏差测试方面取得了最先进的结果，能够成功地执行属性绑定，而 CLIP 则不能。因此，我们认为应该探索将生成预训练作为一种有吸引力的视觉和视觉语言问题的替代方法。

    Mar, 2023

  • 合成特权信息增强医学图像表示学习

    通过合成生成配对信息，我们证明了在医学图像分析中，与单模态（误差减少高达 4.4 倍）或真实多模态配对数据集（误差减少高达 5.6 倍）相比，表示学习可以得到显著改进。

    Mar, 2024