- 众工合力：面向任务的模块化专家混合对话系统
通过使用一组专家混合集成方法，提出了 SMETOD 任务导向对话系统，其中可以优化子问题的结果并为任务导向的对话生成专业化输出，这样既能扩展对话系统又能保持推理效率，并在多项指标上实现了最先进的性能。
- APrompt4EM：增强提示调优通用实体匹配
该研究介绍了一种增强的提示调整框架，用于通用实体匹配中的低资源挑战，包括上下文化软记号提示调整方法和成本效益的信息增强策略。实验结果显示，该方法在低资源实体匹配方面取得了显著的进展。
- GOVERN：梯度方向投票集成用于多教师强化蒸馏
在此研究中，我们提出了一种名为 GOVERN 的新算法，用于有效地将多个教师的知识进行集成，以解决无地标标签指导下实施无监督蒸馏以保持高性能的问题。GOVERN 算法在离线和在线实验中都取得了显著的改进，并已成功应用于实际商业问答系统。
- 通过神经架构搜索对预训练语言模型进行结构修剪
基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。
- ICLR利用命名实体和词性增强金融关系抽取的语言模型
本研究提出了一种简单而有效的策略，通过结合命名实体识别和词性标注，以及不同的信息组合方法，改进了预训练语言模型的性能，用于解决金融关系提取任务。对金融关系数据集的实验证明了其有希望的结果，并突出了结合命名实体识别和词性标注在现有模型中的优势 - UniGen：通用领域泛化情感分类的零样本数据集生成
本研究提出了一种新颖的方法，通过生成适用于任意领域的数据集来实现小型任务模型的领域通用性，从而提高数据集生成模式的实际应用性。实验证明，该方法在使用比预训练语言模型小数个数量级的参数集的情况下，实现了在各种领域的泛化能力。
- FeDeRA: 在联邦学习中利用权重分解实现语言模型的高效微调
基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) - 通过提示模板和对比学习提高事件表示
在本研究中，我们提出了 PromptCL，这是一种用于事件表示学习的新框架，能够有效地发挥预训练语言模型 (PLMs) 综合捕捉短事件文本语义的能力。PromptCL 利用了从提示学习中借鉴的 Prompt 模板，通过在对比学习中扩展输入文 - 使用日本报纸和付费墙对领域特定预训练语言模型的记忆量进行量化
使用限定语料库的日本报纸文章预训练领域特定的 GPT-2 模型，研究发现领域特定的预训练语言模型在生成过程中有大规模的复制粘贴行为，而且记忆与重复、模型大小和提示长度等因素相关。
- 基于 BERTology 模型的三阶段框架下的软件提及识别（SOMD 2024）
本文通过使用不同的预训练语言模型（BERT，SciBERT 和 XLM-R）提出了三个方法来解决学术出版物中软件提及检测的子任务 I。我们的最佳系统通过一个三阶段框架来解决命名实体识别问题，实验证明我们的方法在官方数据集上取得了竞争性的性能 - 从匹配到生成：生成式信息检索综述
信息检索系统 (IR) 是用户访问信息的关键工具，也是搜索引擎、问答系统和推荐系统等场景中被广泛应用的工具。本文综述了生成式信息检索 (GenIR) 的最新研究进展，涉及到生成式文档检索 (GR)、可靠响应生成以及 GenIR 系统的评估、 - COLING通过图融合增强语言模型对抗变异攻击的鲁棒性
通过引入中文字符变异图，本研究提出了一种新方法 CHANGE，以增强预训练语言模型对中文字符变异攻击的鲁棒性，在多个自然语言处理任务中的实验表明 CHANGE 在对抗攻击方面优于现有的语言模型，为鲁棒性语言模型研究做出了宝贵的贡献，并凸显了 - 基于关系型提示的预训练语言模型用于社交事件检测
使用预训练语言模型（PLMs）基于关系提示的社交事件检测方法（RPLM_SED），提出了新的成对消息建模策略，采用多关系序列将社交消息构建为消息对；其次，采用多关系提示的成对消息学习机制使用 PLMs 从消息对中学习更全面的消息表示；再次， - ACLMSciNLI：科学自然语言推理的多样基准
科学自然语言推理（NLI）的任务涉及预测从研究文章中提取的两个句子之间的语义关系。本文介绍了多样性科学 NLI 任务，并提出了 MSciNLI，这是一个包含 132,320 个从五个新科学领域中提取的句子配对的数据集。通过精调预训练语言模型 - 隐私保护提示工程：综述
预训练语言模型（PLMs）在解决各种自然语言处理（NLP）任务上展现出显著的熟练度。研究人员观察到这些模型的性能和规模之间存在直接关联。最近几年，这些模型的规模明显扩大，研究人员因此采用了大型语言模型（LLMs）这一术语来描述规模较大的 P - COLING基于半监督边界感知语言模型预训练的中文序列标注
通过将监督边界信息用于 BABERT，我们构建了一种半监督的边界感知 PLM，实验结果表明我们改进的 BABERT 在中文序列标注和自然语言理解任务中表现出更好的性能，并且我们提出的度量方法具有方便和准确的评估 PLM 边界感知能力的特点。
- COLING针对临床和生物医学文本理解的德语语言模型的综合研究
本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。
- 基于形态学的位置编码研究
本研究首次探讨了不同形态结构复杂性的语言中，预训练语言模型（PLMs）中位置编码的重要性如何变化，并囊括了 23 种形态多样的语言和 5 种不同的下游任务。通过选择句法任务和语义任务，我们从各自语言的 BERT 模型中进行研究，实证发现位置 - ACL低资源语言翻译的参数高效微调解锁
参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 - ANGOFA：利用 OFA 嵌入初始化和合成数据的安哥拉语言模型
通过引入四个针对安哥拉语言进行微调的针对预先训练语言模型（PLM）进行定制的 PLM，采用多语言自适应微调（MAFT）方法，本文调查了在下游任务中通过信息嵌入初始化和合成数据来增强 MAFT 模型性能的作用，将基线模型在 SOTA Afro