语言模型可以变得更加具体吗？如何做到？

Oct, 2022

语言模型可以变得更加具体吗？如何做到？

Can Language Models Be Specific? How?

Jie Huang, Kevin Chen-Chuan Chang, Jinjun Xiong, Wen-mei Hwu

TL;DR探讨了如何测试预训练语言模型的特异性，并提出了一种基于提示构建掩码令牌预测任务的新方法来评估特异性，结果表明可以通过基于提示的方法提高模型的特异性，而无需进行额外的训练。

Abstract

A good speaker not only needs to be correct, but also has the ability to be specific when desired, and so are language models. In this paper, we propose to measure how specific the language of pre-trained language models (PLMs) is. To achieve this, we introduce a novel approach to buil

pre-trained language models specificity testing masked token prediction tasks prompt-based methods language modeling

发现论文，激发创造

基于位置的提示方式用于健康结果生成

本研究提出了一种基于位置 - 注意机制的方法，避免了构造多种不同的提示模板。使用生物医学预训练语言模型，实验结果显示我们的方法能更好地填补掩码，对罕见提示模板的回答（如后缀和混合模式）更为有效。

Mar, 2022

PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

Sep, 2023

ElitePLM：预训练语言模型通用语言能力评估的实证研究

本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

May, 2022

通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究

通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。

Mar, 2024

促使语言模型理解语言结构

使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

Nov, 2022

使用确定性事实知识进行语言模型预训练

该论文提出了一种基于确定性关系的预训练方法，利用外部知识库识别确定性关系并连续预训练语言模型以提高其在提取事实知识方面的鲁棒性，试图学习与之相关的确定性关系有助于知识密集型任务。

Oct, 2022

基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

Feb, 2024

通过语义一致性衡量大型语言模型的可靠性

本研究针对更新的预训练语言模型（PLMs）在语义一致性方面的问题，提出了一种衡量语义一致性的度量标准，并在 TruthfulQA 数据集上评估多个 PLMs 的性能，发现我们提出的语义一致性度量标准比传统的基于词汇一致性的度量标准更可靠，也与人类评估输出一致性的程度更为相关。

Nov, 2022

基于条件生成的大型语言模型性能基准测试

本文提出如何将 PLMs 应用到现有应用程序特定的生成基准上，对输入和输出语言等不同维度的 PLMs 在自然语言生成任务方面的优点和局限性进行了深入的实证研究，并分享了在开发新 PLMs 时考虑到的基准生成能力的最佳实践。

Jun, 2023

SocioProbe：语言模型学习社会人口统计信息的内容、时间和地点

通过使用传统的分类器探测和最小描述长度探测技术，我们研究了不同的单 GPU 预训练语言模型对多个英文数据集的社会人口知识。结果表明，PLMs 确实编码了这些社会人口学方面的知识，并且在一些测试的 PLMs 的层之间分散。我们进一步进行了多语言分析，并调查了补充培训的影响，以进一步探讨在何种程度，何处以及何种数量的预训练数据的情况下编码知识。我们的总体结果表明，社会人口知识仍然是 NLP 领域的一大挑战。

Nov, 2022