Large language models have the ability to quickly adapt to target tasks without gradient updates by using an Explanation-Aware Soft Ensemble framework, which improves the consistency between explanations and final predictions.

Nov, 2023

使用自然语言序列和突出的注释收集人类的常识推理解释，形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型，在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释，可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。

Jun, 2019

近期大型语言模型（LLMs）在各种风格和体裁的文本生成方面展示了惊人的能力。然而，这种能力容易被滥用，如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此，建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简单而高效的解决方案，通过集成多个组成 LLM 的预测来解决这个问题。相较于以往基于困惑度或使用众多 LLM 的集成方法，我们的简化集成方法仅使用两个组成 LLM 即可达到可比较的性能。在四个生成文本分类基准数据集上进行的实验证明，与以往的最先进方法相比，性能提升范围在 0.5％到 100％之间。我们还研究了来自各个 LLM 的训练数据对模型性能的影响。结果表明，将商业限制的生成预训练变压器（GPT）数据替换为其他开放语言模型生成的数据，如 Falcon、Large Language Model Meta AI（LLaMA2）和 Mosaic Pretrained Transformers（MPT），是开发生成文本检测器的可行替代方法。此外，为了展示零 - shot 推广能力，我们在一个英语散文数据集上进行了实验，结果表明我们的集成方法可以有效处理新数据。

Nov, 2023

提出了一种利用预训练方法将常识知识融入语言表示模型的方法，并通过训练一个多项选择问题回答数据集来实现。实验结果表明，使用该方法进行预训练之后 Fine-tuning 的模型，在两个常识关联基准测试上都能取得显著提高，并且不会降低模型的语言表示能力。

Aug, 2019

本文提出了一种基于 BERT 模型架构和多任务学习的 “解释，推理和预测” 系统，用于解决 SemEval 2020（通识验证和解释）的子任务，包括通识的验证、推理和解释。该系统受通识认知研究启发，首先对句子的理解和推理做出解释，然后通过多任务学习来选择一条制约语句是否合理，最终在评估中取得了不错的效果。

Jun, 2020

我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

Oct, 2023

本文提出了一种语义基础的语言模型方法，将语言模型嵌入到自编码器中，在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性，使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验，并通过人工评估验证了自动评估实验的结果。

Nov, 2022

本文提出了一种集成神经模型以检测大型语言模型生成的语言，并对模型进行归因的方法。

Sep, 2023

本文提出了一种自我监督的双向编码器表示学习共存框架（elBERto）, 该框架由五项自我监督任务组成，用于在掌握上下文中的丰富常识的情况下，强制模型充分利用额外的训练信号从而提高通识问题回答的准确性。实验表明，使用该框架在 WIQA、CosmosQA 和 ReClor 数据集上均可获得优异成绩，并且表现出了多种常识的学习能力和能够利用上下文动态性的特点。

Mar, 2022

通过对语言模型的表现的一系列测试和测量，本文揭示语言模型的强项与局限，提出了利用填空测试结合词嵌入来度量 LM 的鲁棒性和置信度，结果显示语言模型虽然能够实现类人的准确性，但其置信度不足。将来的工作可以利用这一信息来构建更复杂的系统，如符号和分布式知识的集合。

Jan, 2022