ACLMay, 2024

REASONS: 使用公开和私有的大型语言模型进行科学句子的检索和自动引用

PDF
TL;DR大型语言模型（LLM）是否能根据直接查询和间接查询在文档或报告中生成参考文献是智能分析、网络安全、新闻机构和教育人员至关重要的问题。本研究通过调查大型语言模型在生成参考文献任务中的表现，引入名为 REASONS 的大型数据集，以科学研究领域的 12 个最热门领域的摘要为基础，得出相关结论，并提供有关自动引文生成任务可靠性的有价值的见解。
发现论文，激发创造
  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 从 RAG 到富裕：利用大型语言模型编写临床试验文件

    在临床试验中，通过使用具备内容相关性和正确术语使用的合理结果的现成大型语言模型（LLMs），然而存在于临床思维、逻辑和合适引用的不足，通过使用 RAG（检索增强生成法）提升 LLM 的写作质量，从而提高了 LLMs 在临床试验相关文案中的实际可用性。

    Feb, 2024

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 基于大型语言模型的系统回答实际临床问题

    利用大型语言模型构建基于检索增强生成和创新研究的系统能为患者护理提供相关证据，提高医疗决策质量。

    Jun, 2024

  • 让大型语言模型能够生成带有引文的文本

    这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

    May, 2023

  • LLM 对相关医学参考文献的引用质量评估框架和分析

    使用大型语言模型（LLMs）回答医学问题，验证其生成的来源的相关性，并开源医学问题和专家注释的数据集以便进行未来评估。

    Feb, 2024

  • 超越言语：大规模语言模型在重要风险分析中的可操作性

    风险分析中，检查了不同模型的效果，发现 LLMs 的速度快且具有实际行动性，而 RAG-assisted LLMs 能够有效发现隐藏的风险，成为精确性需要的 FTMs 和全面性可行性需要的基本模型的有效补充。因此，专家可以在紧凑的时间内利用 LLMs 进行风险分析，同时避免不必要的开支。

    Jun, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 大型语言模型的冗余信息推理能力分析

    最近在大规模语言模型 (LLMs) 的研究中取得了令人印象深刻的进展，尤其在推理方面，对于实现人工智能 (AGI) 至关重要。然而，常用的测试基准可能无法完全展现这些模型在现实场景中的推理能力。为了解决这一问题，引入了一种新形式的问答任务，称为 Reasoning with Redundant Information Provided (RRIP)。该研究设计了改进版本的小学数学 8K (GSM-8K) 数据集，它有几个变体，关注冗余信息的不同属性。在传统的问答任务和 RRIP 任务上，评估了两个流行的 LLMs，分别是 LlaMA2-13B-chat 和生成预训练转换器 3.5（GPT-3.5）。研究结果表明，尽管这些模型在标准问答基准中取得了一定的成功，但它们在 RRIP 任务上的表现明显下降。该研究不仅突出了当前 LLMs 在处理冗余信息方面的局限性，还建议未来训练这些模型时应将冗余信息纳入训练数据，以提高在 RRIP 任务上的性能。

    Oct, 2023

  • LLM 可能主导信息检索：神经检索器偏向于由 LLM 生成的文本

    大型语言模型在信息检索应用中产生的源偏见以及相关的模型评估和研究的重要性。

    Oct, 2023