大型语言模型产生信息速度快，但信息质量不可信，由于预训练中的不可靠和有偏见的标记化导致信息质量下降，进而导致虚构和伪造信息。本文引入了一种新的数学信息质量评估方法，并分析了信息质量挑战和语言模型的可伸缩性规律。

Jan, 2024

使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

Sep, 2023

利用主观问句纠错法评估了现代大型语言模型在信息提取任务中的性能，提出了 SQS-Score 评价方法，衡量输出结果与真实标签之间的语义一致性，并通过结合自然语言推理模型，丰富了评价标签，解决了评价标准中的缺陷，发现 SQS-Score 相较于基准度量更受人类标注者的偏好，并利用 SQS-Score 对最先进的大型语言模型进行了全面评估，为未来的信息提取研究提供了洞见。

Apr, 2024

本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这种方法，在多个模型和数据集上可以获得显著的训练效果提升，并展示了资源高效的 LM 训练的潜力。例如，在使用 OpenWebText 数据集进行训练时，相对于较少的数据量和较快的训练速度，多个 LM 模型在 14 个下游评估任务上的平均绝对准确性提高了 0.9%，在使用 Wikipedia 数据集时，平均绝对准确性提高了 0.8%。

Apr, 2024

本文针对零样本情况下中文开源大型语言模型在信息抽取任务中的性能进行了综合调查和分析，同时通过少样本实验评估了这些模型的能力，并与 ChatGPT 等广泛认可的语言模型在信息抽取性能上进行了比较分析，旨在提供对现有中文开源大型语言模型在自然语言处理中信息抽取领域的优势、限制和潜在增强的洞察。

Jun, 2024

该研究创建了第一个意大利神经心理学命名实体识别数据集，PsyNIT，并使用它开发了用于此任务的大型语言模型。通过多中心模型实验，建立了方法论指导，未来还可为意大利医院提供重要的研究机会。

Jun, 2023

信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

Dec, 2023

本文介绍了如何使用少量标记数据和被标记语料库进行转移学习，以实现在规模上自动从表单状文件提取信息。

Jan, 2022

本研究论文研究了当前结构化实体提取方法的挑战和限制，并提出了一种新的方法来解决这些问题。通过将整个提取任务分解为多个阶段，我们的模型利用大型语言模型的强大能力，提供了更好的效果和效率，从而在结构化实体提取领域取得了突破性的成果。

Feb, 2024

大型语言模型在自动报告生成方面仍面临完整性、准确性和可验证性等质量问题，本文提出了基于评估框架的自动报告生成视野，以满足用户的复杂信息需求，并实现对生成报告的完整性、准确性和可验证性的评估。

May, 2024