该论文提出一种名为 TL;DR 的视觉语言学习算法，它利用基于编码器 - 解码器的编码器来选择代表性样本，并生成新的标题，旨在将现有的大规模 VLP 数据压缩为小高质量数据集。实验证明，使用 TL;DR 压缩后的数据集能够在许多下游任务中提供与完整数据集相似或甚至更好的结果。

May, 2023

本研究提出一种基于深度学习的视觉 - 语言长尾识别框架 (VL-LTR)，并在图像文本双模态下解决了长尾数据识别问题，实验结果在 ImageNet-LT 数据集上表现优异，取得了 77.2% 的整体准确率，比之前最佳表现高出了 17 个百分点。

Nov, 2021

训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

Dec, 2023

该论文提出了基于大型语言模型的数据增强方法（LLM-DA）以提升文本检索模型在人物图像检索中的性能。LLM-DA 使用大型语言模型重写当前的文本数据集，通过增加词汇和句子结构的多样性来扩展数据集，同时保持原始关键概念和语义信息。为了抑制大型语言模型的幻觉，LLM-DA 引入了文本忠实度过滤器（TFF）来筛除不忠实的重写文本。为了平衡原始文本和扩增文本的贡献，提出了一种平衡采样策略（BSS）。实验结果表明，LLM-DA 能够提升当前文本检索模型在人物图像检索任务上的性能。

May, 2024

本文介绍了一种在无标注训练样本的情况下，通过使用深度神经网络，并引入一种新正则化层 Batch Averager，将有标注数据的深度神经网络转换为无标注学习（LLP）的方法。本文还提出了一种协同训练算法，以支持可能由图片和文本组成的数据域。作者通过 Twitter 用户的 tweets 和个人资料图片，预测 Twitter 用户的性别和种族 / 民族信息，并发现深度 LLP 方法在文本和图片分类方面均优于基线方法，并且协同训练算法可以将文本和图片分类的绝对 F1 值分别提高 4％和 8％。最后，采用文本和图片分类器的集合进一步平均提高了绝对 F1 值 4％。

Sep, 2017

本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

Oct, 2022

通过使用多模态大型语言模型，本文提出了一种用于人物图像重新识别的文本到图像转换方法，通过生成各种模板的描述来构建大规模数据集，同时使用相似性判断方法处理不准确的描述，从而显著提升直接转换的文本到图像人物重新识别性能。

May, 2024

通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。

Sep, 2023

本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

Jun, 2022

通过研究大型语言模型的泛化能力问题以及多种提高其分布韧性的方法，本文提出了未来改进大型语言模型鲁棒性的研究方向。

Jun, 2022