Apr, 2024

通过单选问答通过生成式语言模型提升软件相关信息提取

PDF
TL;DR本文描述了我们在软件提及消岐（SOMD）共享任务中的参与，重点是通过使用生成式语言模型（GLMs）和单选题答题来改善学术文本中的关系抽取。我们的方法优先使用 GLMs 的上下文学习能力，提取与软件相关的实体及其描述属性，例如分布信息。我们的方法使用了检索辅助生成（RAG）技术和 GLMs 进行命名实体识别（NER）和属性 NER，以识别提取的软件实体之间的关系，为分析学术文献中的软件引用提供了结构化解决方案。本文详细描述了我们的方法，并展示了在单选题答题范式中使用 GLMs 可以极大地增强 IE 方法的能力。我们在 SOMD 共享任务中的参与强调了精确软件引用实践的重要性，并展示了我们的系统在消除提及歧义和提取软件关系方面的能力，为该领域的未来研究和发展奠定了基础。
software mentions disambiguationgenerative language modelsrelation extractionnamed entity recognitionsoftware citations
发现论文，激发创造
  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • 利用大型语言模型在 NFDI4DataScience Gateway 中进行学术问题回答

    本研究介绍了一个基于 NFDI4DataScience Gateway 的学术问答系统，采用了检索增强生成模型（RAG）的方法。该系统利用强大的大语言模型提供动态交互和会话式搜索，通过实验分析证明了 Gateway 和学术问答系统的有效性。

    Jun, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • PaperQA: 科学研究的增强检索生成代理

    使用 PaperQA，通过对科学文献进行信息检索，评估来源和段落的相关性，并利用 RAG 提供答案的方法，超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现，使得该代理模型能够进行大规模、系统化的科学知识处理。

    Dec, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 评估检索增强生成模型的答案质量：强大的 LLM 足够了

    我们提出了一种全面评估检索增强生成（RAG）应用中答案质量的方法，使用 vRAG-Eval，这是一种新的评分系统，旨在评估正确性、完整性和诚实性。我们进一步将前述质量方面的评分转化为一个二进制分数，表示接受或拒绝的决策，反映了常用于聊天应用的直观 “赞” 或 “踩” 的手势。我们将 vRAG-Eval 应用于两个大型语言模型（LLM），评估由基本 RAG 应用生成的答案的质量。我们将这些评估与人类专家判断进行比较，并发现 GPT-4 的评估结果与人类专家的评判具有显著一致性，在接受或拒绝的决策上达成 83% 的一致。这项研究突出了 LLM 在封闭领域、封闭式问题设置中作为可靠评估者的潜力，特别是当人工评估需要大量资源时。

    Jun, 2024

  • 利用大型语言模型进行软件模型补全：来自工业和公共数据集的结果

    通过实验证明了利用大语言模型进行软件模型完善的潜力，尤其在处理概念上没有或只有少量、嘈杂的示例时具有广泛的推理能力。

    Jun, 2024

  • 利用大型语言模型增强企业知识库的问答能力

    通过使用大规模语言模型（LLMs），我们提出了一种名为 EKRG 的新型检索 - 生成框架，以极低的注释成本实现了企业知识库的问答。通过独特的指令调优方法和针对连贯性思维的微调方法，我们的框架在真实世界数据集上进行了广泛实验，并取得了显著的有效性。

    Apr, 2024