针对实体匹配的大型语言模型微调
本次研究提出了自适应微调的替代方案，使用早期停止和自定义学习速率表来动态调整训练轮数，特别针对小型数据集，我们在命名实体识别的示例用例中表现出比现有的微调算法更好的性能、稳定性和效率。
Feb, 2022
本文探讨使用ChatGPT作为传统Transformer模型的更健壮、训练数据更有效的替代方法，对实体匹配任务进行实验，证明ChatGPT表现竞争力与经过fine-tuned的RoBERTa模型相当，达到83％的F1零次训练，同时使用很少一部分的在上下文中的示例以及提供高级匹配规则可在零次训练下获得类似的增益。
May, 2023
通过使用大型语言模型 (LLMs) 进行实体匹配，我们对可托管的LLMs (如GPT3.5和GPT4) 以及基于Llama2的开源LLMs进行了评估，在零-shot场景和有任务特定训练数据的场景中比较了不同的提示设计以及模型在零-shot场景中的提示敏感度。根据实验结果，我们发现GPT4在没有任务特定训练数据的情况下在三个基准数据集上优于精调的PLMs (RoBERTa和Ditto)，达到约90%的F1分数，而在上下文学习和规则生成方面，除了GPT4之外，所有模型都从这些技术中受益（平均F1分数提高了5.9%和2.2%），大多数情况下GPT4无需额外的指导。
Oct, 2023
大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。
Feb, 2024
这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。
Mar, 2024
通过自动数据加工管道CLEAR (Confidence-based LLM Evaluation And Rectification)对指令调谐数据集进行自动加工，提高模型性能。
Mar, 2024
该研究介绍了一种增强的提示调整框架，用于通用实体匹配中的低资源挑战，包括上下文化软记号提示调整方法和成本效益的信息增强策略。实验结果显示，该方法在低资源实体匹配方面取得了显著的进展。
May, 2024