Jan, 2022

大型英语文学语料库中文本主题、情感、文学性、创造力和美感的计算分析

PDF
TL;DR该研究报告了对 GLEC 中多个文学类别和作者的主题、情感和语义复杂度进行分析的结果，并提出了衡量文学性、创意和文本美感的新指标。同时，他们还提出了这些指标可以作为文本分类和作者识别的重要特征，并通过实验证明了其准确率。
发现论文，激发创造
  • LLMs 能评分短答阅读理解题：适用于低收入国家的基础识字能力评估

    利用生成型大型语言模型（即 GPT-4）有望可靠地评估短答阅读理解问题，并通过使用新的数据集和自动评分过程提供了改进基础扫盲教育的可能性。

    Oct, 2023

  • 增强语境的语言模型用于生成多篇论文引用

    基于大型语言模型的引文生成方法，旨在解决单段落引文生成的挑战，研究通过整合多个目标论文与单个源论文，生成包含多个句子引文文本的连贯段落。同时，通过将目标论文的知识图谱整合到生成引文文本的提示中实现了更好的性能，这一研究揭示了利用大型语言模型进行引文生成的潜力，为探索科学文档之间的复杂连接打开了一个引人注目的途径。

    Apr, 2024

  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • 让大型语言模型能够生成带有引文的文本

    这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

    May, 2023

  • 大型通用语言模型在评估从成人重症监护电子病历记录中提取的语义概念上的应用评估

    通过医生评注和认定的方法，我们研究了三种通用大型语言模型（LLMs）在理解和处理真实世界临床笔记中的性能，并发现 GPT-4 整体表现优于其他 LLMs。此外，我们开发了一个全面的定性性能评估框架，旨在验证 LLMs 在处理复杂医学数据方面的能力，并为将来在专门领域的 LLM 评估建立基准。

    Jan, 2024

  • 用于英语学习者文本语法错误修正的开源和商业语言模型

    通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

    Jan, 2024

  • 大型语言模型自动生成与评估阅读理解测试题

    使用大型语言模型生成和评估阅读理解测试题目是一个有前途的方法，特别适用于没有足够可用数据的语言。

    Apr, 2024

  • SciAssess：科学文献分析 LLM 熟练度评估

    最近大规模语言模型（LLMs）的突破性进展在自然语言理解和生成方面带来了革命性的变化，引发了对将这些技术应用于科学文献分析这一细分领域的兴趣激增。然而，现有的基准不足以充分评估 LLM 在科学领域，尤其是在涉及复杂理解和多模态数据的情景中的能力。本文介绍了 SciAssess，这是一个专门用于深入分析科学文献的基准，旨在对 LLM 的效能进行全面评估。SciAssess 专注于评估 LLM 在科学背景下的记忆、理解和分析能力。它包括来自不同科学领域的代表性任务，例如普通化学、有机材料和合金材料。严格的质量控制措施确保了其在正确性、匿名性和版权合规性方面的可靠性。SciAssess 评估了领先的 LLM，包括 GPT-4、GPT-3.5-turbo 和 Gemini，并确定了它们的优势和改进的领域，支持 LLM 在科学文献分析领域的持续发展。SciAssess 及其资源可在此 https URL 上获得，为推进 LLM 在科学文献分析中的能力提供了一个有价值的工具。

    Mar, 2024

  • 大型语言模型可以有效地利用文档级别的语境进行文学翻译，但是关键错误仍然存在

    通过人工评估，我们发现让 Gpt-3.5 (text-davinci-003) 从整体上翻译文学段落比逐句翻译更好，并指出大语言模型在翻译时仍存在关键性错误。

    Apr, 2023

  • 大型语言模型的有约束文本生成的综合评估

    通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

    Oct, 2023