本文探讨了人类中心的大型语言模型评估，并提出了心理模型，用例使用价值和认知参与三个研究重点，旨在加速人类中心式大型语言模型评估的进展。

Mar, 2023

研究了对话决策问题的一个类别，其中 AI 助手与一个或多个人通过自然语言协作，帮助他们做出复杂的决策。为不同的任务建立了对话环境，并使用这些环境收集了人与人的对话作为基线，同时提出了模型在决策导向的对话中面临着一些挑战，并释放了环境作为未来建模工作的测试基地。

May, 2023

研究表明，当涉及到风险元素和评估人类和 AI 代理能力的探索利用过程时，人工智能和人类在小组决策方面具有互补技能。本文面向一组带有缺陷的 AI 代理人，向人类团队提交一系列智力问题，以评估团队成员和可用 AI 代理人的相对专业知识，评估不同行动的风险并通过达成共识来最大化整体回报，并提出了人工智能 - 人类团队决策的模型。研究验证了在不确定情况下的人工智能团队和人类行为预测中的前景理论、影响动态和贝叶斯学习的社会认知构建的价值。

Jan, 2022

当前的研究论文测试了大型语言模型（LLMs）的可行性，作为人工代理人参与社会学实验中的对话活动，揭示了 LLMs 在辩论中的限制，以及其对人类的影响和能力。

Feb, 2024

探索人类沟通策略以设计更加能理解和与用户意图对齐的人工智能系统，以实现人类中心的人工智能系统。

May, 2024

我们认为，支持人工智能对话能够实现联合推理（即 “询问”），对于确保人工智能决策符合人类价值观和偏好非常重要。我们特别指出，基于逻辑的辩论和对话模型以及关注于劝说对话的传统方法应该改为关注于询问对话，并阐述了联合询问所带来的不同挑战。鉴于大规模语言模型（LLMs）性能的最新技术突破和预计在决策制定中它们的使用将增加，我们提供了一项研究路线图，以支持联合人工智能语言模型推理任务，并确保决策与价值观相一致的伦理关注。

May, 2024

通过利用大型语言模型（LLMs）的口述能力和内部状态，该研究提出了一种新的引导性延期系统，结合人工智能和人类决策者的优势，以减少 LLMs 在关键决策时产生的不确定性，并证明通过利用大型模型的数据对较小的 LLMs 进行微调可以提高性能并保持计算效率。一项初步研究展示了该延期系统的有效性。

Jun, 2024

本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

Jun, 2023

每天我们越来越依赖于机器学习模型来自动化和支持高风险任务和决策。这篇论文提出了混合决策系统的分类法，提供了一个概念和技术框架，以理解当前计算机科学文献中的人机交互模型。

Feb, 2024

社交机器人研究者对于多方训练的对话代理越来越感兴趣。本研究在爱丁堡节的一个月长的现场表演中使用大型语言模型（LLMs），调查了在职业剧院环境中，人类演员如何与对话代理合作创作。我们探索了即兴多方对话的技术能力和限制，并从观众和表演者的经验中提供了全面的见解。我们的 “人在环环” 的方法强调了这些 LLMs 在生成与上下文相关的回复方面的挑战，并强调了用户界面的关键作用。观众的反馈表明了对 AI 驱动的现场娱乐、人机直接互动以及对 AI 在创造力支持工具方面多样化的期望。人类演员表达了巨大的热情和不同程度的满意度，而不断演变的公众舆论则凸显了人们对于 AI 在艺术中的角色的复杂情感。

May, 2024