Feb, 2024

LLM 辅助决策的决定因素

PDF
TL;DR通过对大型语言模型辅助决策的影响因素进行综合文献分析，本研究提供了一种结构概述和详细分析，探讨了技术、心理和决策特定的决策影响因素，同时通过多个应用场景展示了这些影响因素对决策过程的影响，并提出了一种依赖框架来系统化这些因素之间的相互作用。研究发现，信任或依赖语言模型、用户的心理模型以及信息处理的特征是影响语言模型辅助决策过程的重要方面，这些发现对于提高人工智能合作中的决策质量、增强用户和组织的能力以及设计更有效的语言模型接口至关重要，并为后续对语言模型辅助决策的决策影响因素的实证研究奠定了基础。
decision-makinglarge language modelstechnological aspectspsychological factorsdependency framework
发现论文，激发创造
  • DeLLMa：一种基于大型语言模型进行不确定性决策的框架

    大型语言模型（LLM）在商业、工程和医学等领域日益广泛应用。本文提出了 DeLLMa（不确定环境下的决策型大型语言模型助手）框架，通过多步骤的脚手架过程，绘制决策理论和效用理论的原则，提供一种优化且可由人类审查的决策过程，从而显著提高 LLM 的决策性能，使准确率提高了 40%。

    Feb, 2024

  • 利用大型语言模型支持混合工作场所决策

    大型语言模型在混合工作环境中的工作空间选择中，可以提供决策支持和工作空间建议的能力。

    Feb, 2024

  • L2 使用指导和互动策略对学习者表现和感知的影响

    个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立 LLM 的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在 Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者 - LLM 互动的设计建议。

    Oct, 2023

  • 从非确定性到确定性：用大型语言模型增强逻辑推理能力

    LLMs 在推理任务方面取得了重大进展，并提出了 DetermLR 的推理框架来解决选择合适推理结构、充分利用已知条件以及考虑历史推理经验等挑战，该框架通过逐步积累明确前提来使结论逐渐清晰，并在四项具有挑战性的逻辑推理任务上表现出较高的效率和效果。

    Oct, 2023

  • 利用大型语言模型进行集体决策

    利用大型语言模型 (LLMs) 管理会话和平衡个体偏好，以促进集体决策，并应用于公司会议安排。

    Nov, 2023

  • 评估大型语言模型用于物质选择

    通过收集专家材料偏好的数据集，该研究提供了评估大型语言模型在材料选择方面与专家建议相符程度的基础，并通过提示工程和超参数调整比较了大型语言模型在各种设计情景下与专家选择的性能。该研究的结果强调了大型语言模型在材料选择方面的两种失败模式，并发现并行提示作为一种有用的提示工程方法。研究结果进一步指出，虽然大型语言模型可以提供有价值的帮助，但它们的建议通常与人类专家存在明显差异，这突显了进一步研究如何更好地调整大型语言模型以复制专家决策的重要性。该研究为大型语言模型如何融入设计过程的日益增长的知识库做出了贡献，提供了关于它们当前限制和未来改进潜力的见解。

    Apr, 2024

  • LLM 决策能力的敏感性探究：来自提示变异和超参数的洞察

    大型语言模型在决策任务中的表现与输入提示和超参数有关，并显示出与人类相似的探索和开发权衡。

    Dec, 2023

  • 关于使用大型语言模型进行角色扮演中的决策能力

    通过评估大型语言模型在角色扮演后的决策能力，验证了角色扮演的有效性，提供了提升大型语言模型在角色扮演任务中决策能力的度量和指导。通过使用大型语言模型生成与 MBTI 人格类型相对应的虚拟角色描述，并设计具体的量化操作来评估大型语言模型在角色扮演后的决策能力，从适应性、探索与利用权衡能力、推理能力和安全性四个方面分析决策能力与相应 MBTI 类型的关联。实验结果表明，不同角色在决策能力的四个方面存在稳定的差异，显示出大型语言模型可以有效地扮演不同角色并体现其真实的社会学特征。

    Feb, 2024

  • 我不再信任你！—— 高等教育中学生 LMS 使用对讲师学生信任的影响

    利用大型语言模型 (Large Language Models，LLMs) 对学生的影响如何对信息公正性和程序公正性产生影响，从而影响团队信任和预期团队绩效，对教育中利用 LLMs 的使用进行了研究并提出了相应的指导方针。

    Jun, 2024

  • 走向人工智能与人类的思辨：基于 LLM 驱动的辩论人工智能在人工智能辅助决策中的设计和评估

    在 AI 辅助决策中，我们提出了人工智能决策框架 (Human-AI Deliberation) 和交互模型 (Deliberative AI)，其中包括人工智能系统和人类之间的维度级意见引出、辩论性讨论和决策更新，以促进人类对冲突的人工智能意见进行反思和讨论。

    Mar, 2024