Nov, 2023

金融决策者的减少幻觉的数据到答案框架

PDF
TL;DR通过利用 Langchain 框架将数据表转化为分层文本数据块，本研究提出了一种新颖的方法来解决数据表重型领域（如金融决策）中的自动问答问题，实现针对各种用户查询生成定制化的语言模型提示，并在幻觉和响应置信度方面进行了多度量标评估。该系统在用户查询响应方面取得了超过 90% 的置信度，并可应用于其他分析领域以确保最佳幻觉控制保障。
large language modelsautomationquestion-answeringfinancial decision makingdata-table
发现论文，激发创造
  • 金融决策者无幻化生成人工智能解决方案的旅程

    通过原型设计、扩展和利用人类反馈对 LLMs 进行演化的三个阶段，以及本文中提出的新的数据生成模块，有助于确保生成式 AI 聊天机器人、自动报告和警报的可靠性和高质量，以支持关键的决策过程。

    Nov, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 减少使用大型语言模型从财务报告中提取信息中的错觉

    利用大型语言模型提取财务分析师关键信息，通过结合检索增强生成技术和元数据减少幻觉，高效地从公司财报问答部分提取准确信息。

    Oct, 2023

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 导航不确定性：封闭式问题回答中优化 API 依赖关系以减少幻觉

    我们提出了一种新的大型语言模型，能够自我评估是否能直接回答问题或需要请求外部工具。我们通过引入幻觉屏蔽机制的监督方法进行研究，并提出利用参数高效微调技术在少量数据上训练模型。我们的模型直接回答已知查询的问题，对于未知查询进行搜索，从而只在 62% 的时间内使用 API。

    Jan, 2024

  • 通过可转移的对抗性攻击实现对齐大型语言模型的自动幻觉评估

    大型语言模型 (LLM) 中的幻觉问题已取得显著进展，但如何评估 LLMs 的可靠性仍然具有挑战性。本文通过生成评估数据的方法对现有数据进行适当修改，以使用 AutoDebug 框架生成可转移的对抗攻击示例，并研究这些示例触发 LLMs 幻觉行为的程度。实验结果表明，LLMs 在两类问答场景中易产生幻觉，并且我们的方法生成的对抗示例在所有考虑到的 LLMs 之间可转移。

    Oct, 2023

  • 金融领域大型语言模型的不足：幻觉的实证研究

    现有的大型语言模型在金融任务中存在严重的幻觉问题，迫切需要研究努力来缓解这一问题。

    Nov, 2023

  • 分类和减轻 LLMs 的幻觉的洞察力

    本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义，并就幻觉分类进行了研究，包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时，本研究探讨了缓解幻觉的潜在策略，旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi（Health-Related Fake News Mitigation）项目的一部分，该项目得到 NGI Search 的慷慨支持，旨在抑制互联网上健康相关虚假新闻的传播，致力于在不断演进的人工智能技术时代保护信息传播的完整性。

    Nov, 2023

  • HypoTermQA: 用于评估 LLMs 产生假设性术语倾向的假设性术语数据集

    介绍了一个自动可扩展的框架，将大型语言模型（LLM）的幻觉倾向与高效的幻觉检测相结合，提供了测试和改进 LLMs 的机会，并有潜力生成特定领域的基准数据集。

    Feb, 2024

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024