本文首次综述了将领域知识作为约束条件融入深度学习 (DL) 学习模型的方法，以提高其性能，并针对深度神经网络提出了五种主要的方法，包括特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。

May, 2020

为了实现一种泛用的自然语言理解技术，我们引入了 GLUE 基准测试，它是一种用于评估并分析现有 NLU 任务中模型性能的工具。该测试套件是模型无关的，提供手工诊断测试套件以进行详细的语言分析。我们评估了基于当前的多任务和迁移学习方法的基线，发现它们并没有立即在将单独的模型训练于每个任务上的总体表现上取得大幅度的改进，这表明在开发泛用且稳健的自然语言理解系统方面有改进的空间。

Apr, 2018

本研究介绍了一个跨越 20 种语言的多模式多语言标准化测试集，用于评估多语言多模式的迁移学习效果，结果表明翻译测试优于零射击传递，只有很少的无标签文本数据可用于预训练，而且源语言和目标语言之间的距离对成绩的影响较小。

Jan, 2022

近年来，在大型语言模型的发展方面取得了重大进展，达到了在各种任务中的显著表现。为了评估语言模型的知识能力，先前的研究提出了许多基于问答对的基准。我们认为，使用固定问题或有限的改写作为查询来评估语言模型的可靠性和全面性是不可靠的，因为语言模型对提示敏感。因此，我们引入了一个名为知识边界的新概念，用于涵盖语言模型中的提示不可知和提示敏感的知识。知识边界避免了语言模型评估中的提示敏感性，使其更可靠和稳健。为了探索给定模型的知识边界，我们提出了具有语义约束的投影梯度下降方法，这是一种新的算法，旨在识别每个知识片段的最佳提示。实验证明我们的算法在计算知识边界方面比现有方法表现出更高的性能。此外，我们还通过知识边界评估了多个语言模型在几个领域中的能力。

Feb, 2024

利用强化学习整合来自 ConceptNet 和维基百科的知识图嵌入，以提高语言模型的可靠性和准确性，在九个 GLUE 数据集上表现优于现有方法。

Aug, 2023

我们对神经网络模型学习算法进行了分类，并提出了一种新的算法来整合主任务信息和约束注入，同时提出了 $Heta$-score 作为度量主任务度量和约束违规的指标，在自然语言推理、合成传导示例和语义角色标记等自然语言处理任务上探索和揭示了各种算法达到高 $Heta$-scores 的关键因素。

Jun, 2024

本文提出一种基于知识迁移和神经网络的方法，使得在新领域中，能够在有限或无额外监督的情况下利用特定领域中已学知识解决新任务，并且在特征空间约束和映射网络方面提出了一些策略，从而在合成到真实的语境下，利用单目深度估计和语义分割任务之间的知识迁移，获取了令人满意的结果。

Jan, 2023

通过提出一个更具挑战性的标准 hardBench，通过 11 个数据集，包括 3 个计算机视觉（CV）数据集和 8 个自然语言处理（NLP）数据集，研究表明目前模型的弱点，尤其是在低资源学习困难的情况下，证明了现有模型与人类性能水平之间仍然存在较大的鲁棒性差距。

Mar, 2023

本文介绍了一种利用外部知识提高人工智能任务性能的方法，将其应用于视觉语言理解、机器翻译和图像字幕制作等任务，并且在这些任务建模中显著提升表现。

Jan, 2023

本论文旨在解决多任务模型在不同输出模态中的一致性问题，通过引入 COCOCON 基准数据集和使用一种基于排名相关性的辅助目标来衡量模型在多任务中的一致性，旨在提高模型的一致性，同时保持模型原有的精度。

Mar, 2023