Jul, 2024

通过交互式任务分解改进 AI 辅助数据分析中的控制和验证

PDF
TL;DRLLM 动力工具如 ChatGPT Data Analysis 有潜力帮助用户应对数据分析编程的复杂任务，而这项任务需要在数据处理、编程和统计方面具备专业知识。然而，我们的形成性研究（n=15）揭示了在验证 AI 生成结果和引导 AI（指引 AI 系统生成所需输出）方面的严重挑战。我们开发了两种截然不同的方法来解决这些挑战。第一种方法（逐步法）将问题分解成一步一步的子目标，带有可编辑的假设和代码，直到完成任务，而第二种方法（分阶段法）将整个问题分解为三个可编辑的逻辑阶段：结构化输入 / 输出假设、执行计划和代码。一项受控的被试实验（n=18）将这些系统与对话基线进行了比较。用户报告称在逐步法和分阶段法系统中具有更大的控制力，并且相比于基线，更容易进行干预、更正和验证。结果提出了设计指南和权衡，用于 AI 辅助数据分析工具。
llm-powered toolsdata analysis programmingverificationai-generated resultsai-assisted data analysis tools
发现论文，激发创造
  • 通过可操控性和可组合性实现视觉智能和语言智能

    该研究探索了多模态大型语言模型在处理复杂的多步骤任务中的能力，重点研究了模型的可操控性、可组合性以及对长期记忆和上下文理解的应用。通过评估 800 个导向性对话的结果，本研究发现不同任务的完成难度存在明显差异，强调了开发结合长期记忆和上下文意识的语言模型在复杂问题解决情境中模拟人类思维过程的重要性。

    Nov, 2023

  • 通过分解学习自适应语言界面

    该研究旨在创建一个交互式、自然语言接口，通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统，通过分解学习新的高层抽象：用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距，并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。

    Oct, 2020

  • 学习任务分解助力人工角逐编程

    利用语言模型解决复杂问题时，通过将复杂解决方案自动分解为多个简单的部分以更好地帮助人类理解和修复，并提出新的任务分解目标 “AssistV”，通过人类修复经验数据集改进解决方案的可行性和速度，在竞赛编程问题中验证方法，结果显示我们的方法使非专家能够解决更多问题并加快速度，并达到专家级别效果。

    Jun, 2024

  • 基于表格的事实验证探索分解

    本文提出了一种分解复杂语句为简单子问题，并以程序为指导构建伪数据集进行分解模型训练的方法，从而增强事实验证模型的中间证据，通过实验证明，在 TabFact 基准测试中取得了 82.7％的最新最佳性能。

    Sep, 2021

  • 借鉴助教的分阶段学习编程：探索 AI 助教的潜力

    最近 AI 生成模型的进展使得像 ChatGPT 这样的对话模型成为可行的助教候选人。我们通过研究初学者与助教在子目标学习环境中的互动，来探讨在初级编程教育中使用生成 AI 作为助教的实际性。为了比较学习者与 AI 和人类助教的互动和感知，我们进行了一项针对 20 名初级编程学习者的受试研究。学习者通过在助教的指导下制定子目标和子解决方案来解决编程任务。我们的研究表明，学习者在比分和 AI 助教相当的情况下能够更快地解决任务。学习者对 AI 助教的感知在回复的速度和全面性、对话的有益性、困难度和满意度方面与人类助教相当。最后，我们通过对聊天记录的分析，提出了更好地设计和利用生成 AI 作为编程教育助教的指导原则。

    Sep, 2023

  • 使用人工智能增强多准则决策分析：将层次分析法与 GPT-4 集成实现自动化决策支持

    我们的研究提出了一个新的框架，该框架结合了层次分析过程 (AHP) 和生成式预训练变压器 4 (GPT-4) 大型语言模型 (LLM)，为多准则决策 (MCDA) 的网络安全带来了新的方法。通过利用 GPT-4 自主智能体作为虚拟专家的能力，我们自动化决策过程，提高了效率和可靠性。这种新方法侧重于利用 LLM 进行复杂决策分析，突显传统决策模型与尖端人工智能技术之间的协同效应。我们的创新方法在使用 AI 驱动智能体处理复杂决策场景方面取得了重大进展，突出了 AI 在战略网络安全应用中的重要性。研究结果揭示了结合 AHP 和 LLM 的变革潜力，为网络安全及其他领域的智能决策支持系统确立了新的模式。

    Feb, 2024

  • AI 解码：ChatGPT 中数据分析的内幕故事

    最近人工智能生成技术的快速发展使得数据科学领域发生了各种变化。本文批判性地审查了 ChatGPT 在广泛任务中的数据分析能力，尽管数据分析为研究者和实践者提供了前所未有的分析能力，但它远非完美，重要的是要认识和解决它的局限性。

    Apr, 2024

  • 揭开 ChatGPT 的面纱：对人工智能生成的以目标为导向的对话和注释进行关键分析

    本文探讨了预训练语言模型在生成目标导向对话方面的潜力，并通过 ChatGPT 在三类目标导向对话、两种生成模式和两种语言的实验中进行了评估，结果表明生成的对话和注释质量与人类相当。

    May, 2023

  • 基于自治型 LLM 的从数据到可人工验证的研究论文

    AI 驱动的科学研究中的透明度、可追溯性和可核实性对加速科学发现具有潜力。

    Apr, 2024

  • 使用 ChatGPT 的主题分析中的人工智能协作：用户研究和设计建议

    通過對十位質性研究人員進行的用戶研究，發現 ChatGPT 在主題分析、編碼效率提升、初步數據探索、提供細粒度定量洞見和協助非母語者和非專家的理解方面，為質性研究人員提供了有價值的協作者，然而對其信任度、準確性、一致性、上下文理解和在研究社區中的廣泛接受性存在顧慮，我們提供了五個可行的設計建議以促進有效的人工智能與人類的合作。

    Nov, 2023