通过测量任务对齐度分析文本表征
通过引入评估文本数据表示优劣的度量标准，本研究探究了数据表示在紧急标注预算下对学习成果的影响。研究表明，数据表示依据任务需求的结构对齐程度越高，模型对标注预算的依赖性较低、对少样本数据的学习效果更优。
Oct, 2022
提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。
Jul, 2023
本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。
Jun, 2020
本文综合分析了不同注意力计算方法在视觉与文本特征之间建立语义联系方面的作用，以及该计算机制的可解释性与模型性能之间的关系，研究结果表明不同的计算机制在不同 VL 任务的表现存在差异，这为注意力机制在 VL 任务中的训练中提供了洞见，对于建立跨模态模型和预训练模型都具有启示作用。
Aug, 2022
使用聚类方法基于词向量的语言模型，在一个更高语义空间中依据文本回归的特征表现显著优于之前的技术方案，同时具备与文档长度变化相关性自适应的能力。
Sep, 2017
通过三种不同的角度（数据属性、手工设计和基于模型的相关性）分析任务相关性，本文提出了一种层次框架并使用粗粒度到细粒度的范式，使模型从所有任务中学习基本语言属性，提高相关任务的性能，并减少不相关任务的负面影响。
Aug, 2022
该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。
Feb, 2022
从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。
Jan, 2019
本文研究视觉特征的表征方式，并探讨了通过将视觉识别任务和视觉问答任务各自对应的语言表示方式建立联系，以实现更好的跨任务数据迁移的方法。结果表明，这种方法比常规的多任务学习方法更有效，并且能够大幅提高在视觉识别任务和视觉问答任务上的准确率。
Apr, 2017