Sep, 2023

当大型语言模型遇见引用：一项调查

PDF
TL;DR本文综述了大语言模型（LLMs）与引文分析之间的相互关系，包括引文分类、基于引文的摘要和引文推荐等任务，以及通过引文预测、网络结构信息和文献间关系等手段来改进 LLMs 的文本表示，并提出了进一步研究 LLMs 和引文分析相结合的潜在方向。
citationsscholarly worklarge language modelscitation analysistext representation
发现论文，激发创造
  • 让大型语言模型能够生成带有引文的文本

    这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

    May, 2023

  • 若语源能言：评估大型语言模型在历史研究辅助中的应用

    通过给强大的大型语言模型（LLM）增加来自高度专业化学术源的向量嵌入，我们展示了一种基于对话的方法可以使历史学家和其他人文学科的研究人员能够使用 LLMs 来检查不同类型文档的自定义语料库，并评估了 LLMs 在问题回答和数据提取组织两大任务上的表现。

    Oct, 2023

  • 大型语言模型用于科学研究的跨学科视角

    大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制，加强科学研究，例如通过总结大量出版物加速文献回顾，通过自动语法纠正提升代码开发，和优化科学写作过程。然而，LLMs 面临挑战，如依赖庞大且有时偏颇的数据集，以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论，从自然科学中帮助模拟复杂生物序列，到社会科学中解析大规模的定性数据。最后，我们提供一种细致的观点，认为 LLMs 既是科学进步的福音，也是其边界。

    Nov, 2023

  • 增强语境的语言模型用于生成多篇论文引用

    基于大型语言模型的引文生成方法，旨在解决单段落引文生成的挑战，研究通过整合多个目标论文与单个源论文，生成包含多个句子引文文本的连贯段落。同时，通过将目标论文的知识图谱整合到生成引文文本的提示中实现了更好的性能，这一研究揭示了利用大型语言模型进行引文生成的潜力，为探索科学文档之间的复杂连接打开了一个引人注目的途径。

    Apr, 2024

  • 2017 年至 2023 年大型语言模型研究的文献计量学综述

    本文通过对 5000 多篇学术文献的综合分析，提供了关于 LLM 研究的路线图，包括核心算法开发、自然语言处理任务、LLM 在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化，为研究人员、从业者和决策者了解 LLM 研究的当前状态、影响和潜力提供了有价值的见解。

    Apr, 2023

  • 建立负责任且可靠的大型语言模型的关键

    本文探讨了如何通过引入引用机制来降低大型语言模型的知识产权和伦理问题，提高内容的透明度和可验证性。

    Jul, 2023

  • 在源语言中迷失：大型语言模型如何评估机器翻译的质量

    大型语言模型在机器翻译评估任务中取得了显著的成果，然而关于它们如何利用提供的数据进行评估仍存在知识空白。本研究旨在探索大型语言模型如何利用源语言和参考信息进行评估，从而更好地理解大型语言模型的工作机制。通过设计不同的输入模式和模型类型进行受控实验，并使用粗粒度和细粒度提示来识别源语言与参考信息的有效性，我们惊讶地发现参考信息显著提高了评估准确性，而源语言信息有时会适得其反，表明在使用大型语言模型评估翻译时缺乏跨语言能力。我们还对大型语言模型的翻译错误检测进行了元评估，观察到类似的现象。这些发现也为充分利用大型语言模型的跨语言能力以在机器翻译评估任务中取得更好性能提供了潜在的研究方向。

    Jan, 2024

  • LLM 对相关医学参考文献的引用质量评估框架和分析

    使用大型语言模型（LLMs）回答医学问题，验证其生成的来源的相关性，并开源医学问题和专家注释的数据集以便进行未来评估。

    Feb, 2024

  • 大型语言模型反映人类引用模式，具有较高的引用偏好

    大型语言模型（LLMs）如 GPT-4 在引用实践中引入新的动态，并且可能放大现有的偏见和引入新的偏见，从而可能扭曲科学知识的传播。

    May, 2024

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024