基于注释指南的知识增强：用于提升教育文本分类的大型语言模型

Jun, 2024

基于注释指南的知识增强：用于提升教育文本分类的大型语言模型

Annotation Guidelines-Based Knowledge Augmentation: Towards Enhancing Large Language Models for Educational Text Classification

PDF

Shiqi Liu, Sannyuya Liu, Lele Sha, Zijie Zeng, Dragan Gasevic...

TL;DR使用基于批注指南的知识增强（AGKA）方法，我们对大型语言模型（LLMs）进行了综合评估，并在学习参与度分类（LEC）任务上取得了改进。AGKA 利用 GPT 4.0 从批注指南中检索标签定义知识，并应用随机欠采样器选择一些典型示例，通过六个 LEC 数据集对其进行了系统评估。结果表明，AGKA 可以提升非微调的 LLMs，在简单的二分类任务上 GPT 4.0 的 AGKA few-shot 的性能优于 BERT 和 RoBERTa 等全微调模型，但在需要深入理解复杂语义信息的多类任务中，GPT 4.0 有所落后。值得注意的是，基于开源 LLM 的 Llama 3 70B 与 AGKA 结合具有很大潜力，并且性能与基于闭源的 GPT 4.0 与 AGKA 相媲美，但 LLMs 难以区分多类分类中名称相似的标签。

Abstract

Various machine learning approaches have gained significant popularity for the automated classification of educational text to identify indicators of learning engagement -- i.e. learning engagement classification (LEC). LEC can offer comprehensive insights into human learning processes

learning engagement classification large language models annotation guidelines-based knowledge augmentation systematic evaluation benchmark multi-class classification

发现论文，激发创造

通过 LLM 驱动的主动学习和人工标注来增强文本分类

该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

Jun, 2024

GKT：一种面向高效云边协同 LLM 部署的基于导向的知识转移框架

通过指导式知识迁移，我们引入了一种新颖而直观的框架来加速大型语言模型，在不断提高性能的同时保证了效率和实惠性。该框架能够无需微调，无需教师和学生模型具有相同的词汇，实现广泛的批量生成，且可轻松集成到各种模型中，同时在准确性和处理速度上实现了显著的提升。

May, 2024

利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

Oct, 2023

AnnoLLM: 使大型语言模型成为更好的众包注释工具

本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

Mar, 2023

基于生成式人工智能的自动标注需要验证

通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

May, 2023

从自动化到增强：大语言模型提升作文评分领域

研究调查了大型语言模型（LLMs），特别是 GPT-4 和经过精细调整的 GPT-3.5 作为自动作文评分（AES）系统的工具的有效性。实验结果显示 LLM-based AES 系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

Jan, 2024

LLM-ARK：大型语言模型在知识图谱推理中的应用：深度强化学习

LLM-ARK 是一种基于大型语言模型和知识图谱推理的代理技术，通过 FTE 提示和 PPO 在线策略梯度强化学习算法，能够有效地提供多跳推理问题的高效解决方法。

Dec, 2023

大型语言模型的生物医学知识图增强提示生成

提出了一种融合知识图谱和大型语言模型的框架，通过优化方式，增强了通用型语言模型适应处理领域特定问题的能力。

Nov, 2023

大型语言模型的自动学习方法

使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

Jan, 2024

GPT3Mix：利用大规模语言模型进行文本增强

本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

Apr, 2021