Mar, 2024

GPT4 动力的 AI 代理能否成为足够优秀的绩效归因分析师？

PDF
TL;DR在本研究中，我们介绍了 AI 代理的应用，用于各种关键的绩效归因任务，包括绩效驱动因素的分析和利用大型语言模型作为多级归因分析和问答练习的计算引擎。通过引入先进的提示工程技术，如思维链和计划解决，以及采用 LangChain 的标准代理框架，研究取得了令人鼓舞的成果：在分析绩效驱动因素方面的准确率超过 93％，在多级归因计算方面达到 100％的准确率，并以超过 84％的准确率完成了模拟官方考试标准的问答练习。这些发现证实了 AI 代理、提示工程和评估在推进投资组合管理过程中的重要作用，突显了人工智能技术在该领域实际应用和评估中的重大进展。
performance attribution analysislarge language modelsai agentsportfolio managementprompt engineering
发现论文，激发创造
  • 评估大型语言模型作为人工智能研究代理 agent

    我们提出了一种基于 LLM 的研究代理的研究，该代理可以在机器学习工程问题中执行实验循环，并且我们开发了 MLAgentBench 来评估这些代理的性能与效率。

    Oct, 2023

  • CoTAR: 用多级细粒度的链式思维归因推理

    通过引入面向归因的思维链推理方法来提高归因准确性，并与微调相结合，改进了生成模型的反应和归因准确性，显示了小型大语言模型在某些情况下超越 GPT-4 的潜力。

    Apr, 2024

  • 自动归因评估的难度有多大？

    通过提供引用的证据，现代生成式搜索引擎增强了大型语言模型（LLM）响应的可靠性。为了弥补缺乏这些方法的标准化基准的差距，我们提出了 AttributionBench，这是一个由各种现有归因数据集编制的综合基准。我们在 AttributionBench 上进行了大量实验，揭示了即使对于最先进的 LLM 也存在自动归因评估的挑战。

    Feb, 2024

  • GPT-4 是一位优秀的数据分析师吗？

    本文通过一系列的比较研究，设计实验性方案并提出数据分析问题，探究 GPT-4 作为数据分析师的能力，从而证明其在该领域有着与专业人类数据分析师相媲美的表现。

    May, 2023

  • 属性问答：针对属性化大语言模型的评估和建模

    本文研究基于属性的 LLM 发展，在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属（attribution）以及现有方法在归属方面的表现如何，并提出了建立带归属特性的 LLMs 的可能方向。

    Dec, 2022

  • TrainerAgent：基于 LLM 的多智能体系统实现可定制和高效的模型训练

    利用强大的分析、规划和决策能力，以及四个代理的协作，我们提出了一种 TrainerAgent 系统，它由任务、数据、模型和服务器代理组成，通过综合地从数据和模型的角度对用户定义的任务、输入数据和需求进行优化，从而获得满足要求的模型，并将这些模型作为在线服务部署，相较于传统模型开发，我们的系统以增加效率和质量的方式取得了显著进展。

    Nov, 2023

  • 语言模型洞察：上下文问答中的归因方法

    基于大语言模型的隐藏状态，我们提出了一种新的环境下问答的归因方法，绕过重复训练模型和检索模型开销，提供精细的归因并保持结果质量，在识别出 LLM 生成的文字时表现出与 GPT-4 相当甚至更好的性能，且适用于各种 LLM 架构。

    May, 2024

  • 大型语言模型上的神经作者归属性：风格分析

    通过实证分析大型语言模型（LLMs）的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯，为神经网络作者归属提供经验性洞见，为应对 AI 生成的错误信息的威胁铺平道路。

    Aug, 2023

  • 使用知识图谱评估复杂问题回答和归因的大型语言模型基准

    使用知识图谱为问题 - 答案对自动生成不同类别的归因，并引入细分类型（支持性、不足、矛盾和不相关）来衡量归因，评估现有评估方法在细致归因设置下的表现较差，使用人工注释验证的 CAQA 基准为选择和开发 LLM 归因评估器提供了有前景的工具。

    Jan, 2024

  • 使用人工智能增强多准则决策分析：将层次分析法与 GPT-4 集成实现自动化决策支持

    我们的研究提出了一个新的框架，该框架结合了层次分析过程 (AHP) 和生成式预训练变压器 4 (GPT-4) 大型语言模型 (LLM)，为多准则决策 (MCDA) 的网络安全带来了新的方法。通过利用 GPT-4 自主智能体作为虚拟专家的能力，我们自动化决策过程，提高了效率和可靠性。这种新方法侧重于利用 LLM 进行复杂决策分析，突显传统决策模型与尖端人工智能技术之间的协同效应。我们的创新方法在使用 AI 驱动智能体处理复杂决策场景方面取得了重大进展，突出了 AI 在战略网络安全应用中的重要性。研究结果揭示了结合 AHP 和 LLM 的变革潜力，为网络安全及其他领域的智能决策支持系统确立了新的模式。

    Feb, 2024