介绍了 CoDA21 基准测试评估预训练语言模型（PLMs）的自然语言理解（NLU）能力，排除了现有基准测试的不足之处，并发现人类与 PLMs 的 NLU 表现差异较大。

Mar, 2022

本文提出一个可视化分析工具 DeepNLPVis，采用基于互信息的量化方法对深度自然语言处理模型进行统一理解，通过多层次的可视化（语料库级别、样本级别和单词级别）支持从整体到个别的分析，通过两个分类任务的案例研究和模型比较，证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。

Jun, 2022

该研究提出了 ConceptX 人在循环框架，用于解释深度语言模型中预训练隐藏表达空间，并提供自动生成的基于语言本体论的概念注释，以表示这些模型中学习到的隐含概念，从而帮助注释人员标记模型中的偏见。

Nov, 2022

本文介绍了一种基于平板电脑的应用程序 Co-ML，它是一种用于促进学习者之间协作构建机器学习模型的工具。通过这种分布式协作过程，学习者可以共同解决之前工作中忽视的数据设计问题，如数据多样性、类别不平衡和数据质量等。

Apr, 2023

该研究介绍了一个原型工具，结合多种可视化方式，帮助终端用户理解临床文本中提取出的信息，修正必要错误，形成反馈循环，支持 NLP 模型的优化。针对该工具进行的临床医生和研究人员的用户研究显示，用户可以快速开始修正 NLP 模型，尽管他们很少或没有机器学习经验。研究结果还提供了优化界面以支持结果审查工作流程和解释的建议。

Jul, 2017

本篇论文介绍了一种新的多模态、领域无关的方法，结合自然语言编程和演示编程，允许用户在高层次上自然描述任务和相关条件，并通过对话和演示递归地解决任何模糊不清的问题。PUMICE 是一个可供最终用户编程的代理系统，实现了这种方法。10 位用户的实验显示出系统的可用性。

Aug, 2019

我们提出了 ConcEPT，即概念增强的预训练语言模型，将概念知识引入 PLMs，通过预测预训练上下文中提及实体的概念来提高模型性能，并通过实验验证了该模型在实体类型等任务中改善了概念知识的有效性。

Jan, 2024

本文介绍了一个人机协同问题解决框架，其中包含自然语言引擎、概念学习器和 HTN 规划器等三个组件，通过在基于 Minecraft 的积木世界中进行合作构建任务来演示该框架解决协同问题解决的关键挑战。

Jul, 2022

研究创建一个数据集和计算框架，使系统能够与人进行对话并改进其预测，通过实验表明所提出的系统可以通过讨论与人产生益处的对话，从而在自然语言推理任务中提高准确性高达 25 个百分点。

May, 2023

本文介绍了一个能够支持自然语言处理工作流的开源框架，该框架包含了一个统一的数据表示方法和一个包含处理器、可视化和注释的大型处理库，提供了简单组装和互操作性，并能够轻松扩展以接入其他自然语言和深度学习库。

Mar, 2021