ICMLJun, 2022

决策中的人工智能协作：超越推迟学习

PDF
TL;DR通过研究发现，目前 Human-AI collaboration 在决策方面已经有了一定的进展，但还存在一些问题需要解决，如性能和公平性不足，学习模型的部署需要考虑实际环境等方面，需要更多的研究进行完善。
human-ai collaborationlearning to deferperformancefairnessreal-world deployment
发现论文，激发创造
  • 走向医疗领域的人机协作：大型语言模型引导的推迟系统

    通过利用大型语言模型（LLMs）的口述能力和内部状态，该研究提出了一种新的引导性延期系统，结合人工智能和人类决策者的优势，以减少 LLMs 在关键决策时产生的不确定性，并证明通过利用大型模型的数据对较小的 LLMs 进行微调可以提高性能并保持计算效率。一项初步研究展示了该延期系统的有效性。

    Jun, 2024

  • 基于工作负载约束的多专家权威延迟成本敏感学习

    学员分享学习（L2D）旨在改善人工智能协作系统，通过学习如何将决策推迟到人类在更可能比机器学习分类器更准确时。现有的 L2D 研究忽视了阻碍其实际应用的现实系统的关键要素，即：i）忽略了具有不同成本的类型 1 错误和类型 2 错误的成本敏感场景；ii）要求对训练数据集的每个实例进行并发的人类预测；iii）不处理人类工作能力的限制。为了解决这些问题，我们提出了成本和能力约束下的推迟框架（DeCCaF）。DeCCaF 是一种新的 L2D 方法，采用监督学习来建模人类错误的概率，满足更宽松的数据要求（每个实例只有一个专家预测），并使用约束编程来在工作负载限制下全局最小化错误成本。我们在一系列具有不同 9 名合成欺诈分析师团队和个体工作能力限制的成本敏感型欺诈检测场景中测试了 DeCCaF。结果表明，我们的方法在各种场景中比基准方案表现显著好，平均减少了 8.4% 的错误分类成本。

    Mar, 2024

  • A2C：一个面向人工智能团队的模块化多阶段协作决策框架

    该论文介绍了 A2C，一个多阶段协作决策框架，旨在实现人工智能与人类团队之间的强大决策能力。在概念上借鉴了拒绝学习和学习推迟等概念，A2C 将人工智能系统训练成能够识别决策的不确定性，并在需要时推迟决策以便向人类专家求助。此外，A2C 还适用于人类专家面临限制的场景，例如在网络安全运营中心的事件检测和响应中。在这些场景下，A2C 促进协作探索，实现复杂挑战的集体解决。通过支持自动化、增强和协作三种不同的人工智能决策模式，A2C 为开发有效的人工智能协作策略提供了灵活的平台。通过发挥人类和人工智能的优势，它显著提高了动态和不断变化环境中复杂决策的效率和效果。为了验证 A2C 的能力，我们使用基准数据集进行了广泛的模拟实验。结果清楚地表明，A2C 能够有效支持三种决策模式。尤其值得注意的是，（模拟）人类专家和人工智能的协作探索相比单独的人工智能表现出更优异的性能，突显了该框架增强人工智能与人类团队决策能力的潜力。

    Jan, 2024

  • 第二决策者的警报：人工智能冲突简介

    这篇论文系统地介绍了人工智能与人类协作时可能出现的观察、解释和行动上的冲突，包括其潜在风险、测量方法、影响因素，并强调了这是一个正在崛起的风险领域，需要与传统的故障和失效分析区分开来。

    May, 2023

  • 模拟人工智能团队决策

    研究表明，当涉及到风险元素和评估人类和 AI 代理能力的探索利用过程时，人工智能和人类在小组决策方面具有互补技能。本文面向一组带有缺陷的 AI 代理人，向人类团队提交一系列智力问题，以评估团队成员和可用 AI 代理人的相对专业知识，评估不同行动的风险并通过达成共识来最大化整体回报，并提出了人工智能 - 人类团队决策的模型。研究验证了在不确定情况下的人工智能团队和人类行为预测中的前景理论、影响动态和贝叶斯学习的社会认知构建的价值。

    Jan, 2022

  • 走向人工智能与人类的思辨：基于 LLM 驱动的辩论人工智能在人工智能辅助决策中的设计和评估

    在 AI 辅助决策中，我们提出了人工智能决策框架 (Human-AI Deliberation) 和交互模型 (Deliberative AI)，其中包括人工智能系统和人类之间的维度级意见引出、辩论性讨论和决策更新，以促进人类对冲突的人工智能意见进行反思和讨论。

    Mar, 2024

  • 现实世界复杂环境中的人工智能协作与强化学习

    在复杂的模拟环境中，研究表明人工智能与人类的合作胜过仅有人类或仅有人工智能代理的情况，并开发出了一种用户界面，使人类有效地协助人工智能代理。

    Dec, 2023

  • 以团队学习为视角设计人工智能协同创新系统

    本研究将人工智能与人类合作的问题重新定义为一种学习问题，提出团队学习策略可提高合作效果和质量，为设计更高效的人工智能合作系统提供了新的视角和框架，并就支持人们学习如何与生成型人工智能系统协作的进一步研究提出了问题和议程。

    Jul, 2022

  • 学习向人群推迟决策的元学习方法

    学习推迟（L2D）框架通过将困难决策交给人类专家，实现了自主系统的安全性和稳健性。我们在此工作中缓解了每个专家都是明确识别的假设，并设计了一个能够应对测试时从未遇到过的专家的 L2D 系统。我们使用元学习来实现这一目标，同时考虑了基于优化和基于模型的变种。通过给出用于描述当前可用专家的小的上下文集合，我们的框架可以快速适应其推迟策略。对于基于模型的方法，我们采用了一种注意机制，可以查找上下文集合中与给定测试点相似的点，从而更精确地评估专家的能力。在实验中，我们在图像识别、交通标志检测和皮肤病病变诊断基准上验证了我们的方法。

    Mar, 2024

  • 在高风险环境中指导人类学习

    本文研究 AI 辅助决策的团队决策，在考虑决策者面临的协同成本、不完美的算法决策等限制条件下，研发了人工智能团队学习框架和 TeamRules 算法，可提供有针对性的决策建议并在处理协同成本和团队准确性之间的平衡上产生显著的效果

    Oct, 2022