基于 LLM 增强的跨领域短语结构句法分析的自学习

EMNLPNov, 2023

基于 LLM 增强的跨领域短语结构句法分析的自学习

LLM-enhanced Self-training for Cross-domain Constituency Parsing

Jianling Li, Meishan Zhang, Peiming Guo, Min Zhang, Yue Zhang

TL;DR通过结合大型语言模型（LLM）生成领域特定原始语料库的迭代过程，以及引入语法规则指导 LLM 生成原始语料库并建立伪实例选择标准等方法，本研究探索了自训练方法在跨领域句法分析中的应用，实验证明，自训练方法配备 LLM 在句法分析任务上胜过传统方法，且通过语法规则和置信度标准选择伪数据的组合效果最佳。

Abstract

self-training has proven to be an effective approach for cross-domain tasks, and in this study, we explore its application to cross-domain constituency parsing. Traditional self-training methods rely on limited a

self-training cross-domain constituency parsing large language model (llm)grammar rules pseudo instances

发现论文，激发创造

基于 LLMs 的短语结构解析

运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

Oct, 2023

LLM 指导 LLM：提取和编辑方法

基于复杂情境的知识融合方法推进领域语言模型在问题回答任务上的准确率，展示了适应 Paucity-Constrained 复杂推理适应于各个领域的高效性和适应性。

Mar, 2024

通过知识检测自我训练大型语言模型

该论文研究自训练范式，其中大型语言模型 (Large language models, LLMs) 通过自主策划标签并选择性地在未知数据样本上训练，以显著改善多个主题中生成中的虚构问题。此外，选择性训练框架在处理超出分布基准的灾难性遗忘时具有重要意义，解决了训练 LLMs 过程中的关键限制。我们的研究结果表明，这种方法可以大幅减少对大规模标记数据的依赖，为更可伸缩和经济有效的语言模型训练铺平了道路。

Jun, 2024

跨语言中高古德语语法句法分析：基于非词汇化方法

本研究旨在通过使用去词法化方法，利用现代德语 (MG) 的语法分析数据，进行从现代德语到中古高地德语 (MHG) 的跨语言转移，训练了一个在 MHG 测试集上取得了 67.3% 的 F1 分数的词法成分分析器，相较于最佳零 - shot 跨语言基线提升了 28.6% 的性能。这些结果表明，在面临类似 MHG 的古代语言中进行自动句法分析具有实用性和潜力。

Aug, 2023

LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

May, 2023

跨语言和语法下预训练模型的评估

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

大型语言模型可自我提升

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

Oct, 2022

通过知识挖掘和摘要的自我增强领域特定聊天机器人训练方法

通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工 LLMiner 自动从相关文档中提取问题和答案对，并将这些 QA 对与对话数据集结合来对 LLM 进行微调，从而丰富了其特定领域的专业知识和对话能力。与通常基于领域语料库直接微调的模型相比，我们的模型在新的评估基准上表现出显著的性能改进，并且只需要人为介入的最小数量的种子实例，为 LLMs 通过模型合成的训练数据实现自我改善提供了可能性。

Nov, 2023

使用大语言模型引导多语言语义分析器

使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

Oct, 2022

利用大型语言模型进行零样本命名实体识别的自我提升

通过自我改进策略研究了零样本实体识别任务中大规模语言模型的应用，并提出了利用无标注语料库刺激模型自学能力的自我改进框架，通过全面实验分析发现，该自我改进框架能够进一步推动零样本实体识别任务的发展，并取得了显著的性能提升。

Nov, 2023