介绍了韩语自然语言理解评估标准 KLUE，涵盖 8 个韩语自然语言任务。该标准通过从多种资源语料库中构建任务和数据，并注重版权保护和伦理考虑来保证对任何人的无限制性可达。提供了合适的评估方法，预训练语言模型的微调配方以及语言模型 KLUE-BERT 和 KLUE-RoBERTa 等预训练语言模型，以帮助重现 KLUE 上的基线模型并促进未来研究。KLUE 资源还可用于其他语言的创建。

May, 2021

利用大型语言模型（LLM）以替代传统的自然语言处理技术，在较大规模上从隐私政策中高效准确地提取隐私做法，并实现出色的性能评估和降低成本。

May, 2024

本研究利用自然语言推断（NLI）技术，采用预训练的嵌入和 BiLSTM 注意力机制，比较大公司的隐私政策与隐私法规，测试发现，在实际 NLI 任务中，基于 MNLI 数据集训练的模型更好。

Mar, 2022

为了评估新的自然语言理解模型在一系列任务上的表现，我们引入了第一个越南语语言理解评估（VLUE）基准，涵盖了五个不同的 NLU 任务，包括文本分类、跨度提取和自然语言理解。我们评估了七个最先进的预训练模型在我们提出的 VLUE 基准上的表现，包括多语言和越南语单语模型，并提出了 CafeBERT，一个在 VLUE 基准中所有任务上都取得优秀结果的最新预训练模型。

Mar, 2024

通过利用大型语言模型（LLM）开展文本分析，本研究构建了 PolicyGPT 隐私政策文本分析框架，并在两个数据集上进行了测试，结果表明在零样本学习条件下，PolicyGPT 取得了强大的性能，并优于传统机器学习和神经网络模型。

Sep, 2023

在自然语言理解和数据挖掘中，隐私保护仍然是一个关键的挑战。本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并指出了这种方法在 BERT 细调中的实用性和隐私性的影响，同时提出了隐私适应性的语言模型预训练方法，可以显著提高 BERT 的实用性，并保持相同水平的隐私保护。本文实验和发现为未来探索隐私保护的自然语言理解提供了奠基。

Apr, 2021

该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

Apr, 2020

介绍 Legal General Language Understanding Evaluation（LexGLUE）基准测试和对几个通用和以法律为导向的模型的评估和分析，证明后者在多个任务中始终提供性能改进。

Oct, 2021

创建适用于口语理解评估的基准任务套件，其中包括命名实体识别、情感分析和语音识别，用于跟踪进展，评估预先训练的表示形式，研究管道与端到端方法的效用。

Nov, 2021

本文提出一种新的文档语言理解评测框架 ——DLUE，它涵盖了各种形式、领域和文档类型的文档理解任务，并对六个知名 Transformer 模型进行了系统评估，结果显示由于内容冗长、结构复杂和知识分散，文档理解仍然远未解决，没有一种神经架构能够支配所有任务，这需要一个通用的文档理解结构。

May, 2023