我们提出了一种名为 BOLT 的新型计算框架，用于研究大型语言模型（LLMs）在担任治疗师角色时的对话行为。我们开发了一种上下文学习方法，定量测量 LLMs 的行为，基于包括反映、提问、解决方案、正常化和心理教育在内的 13 种不同的心理治疗技术。我们通过比较 LLM 治疗师与高、低质量人类治疗师的行为，并研究如何调整其行为以更好地体现高质量治疗中观察到的行为，发现 LLMs 的行为更接近低质量治疗，需要进一步研究来确保质量治疗。

Jan, 2024

提出使用大型语言模型进行心理咨询工作联结评估的创新高效自动方法，通过结合指南，该方法在与人工评估的高度一致性的基础上提供有价值的心理咨询脚本洞察，将大型语言模型整合到评估过程中，提供一种经济实惠可靠的评估咨询质量的手段，增强整体效果。

Feb, 2024

这项研究主要探讨了大型语言模型（LLMs）在与高功能自闭症青少年进行互动语言治疗中的效果。通过评估 LLM 在治疗环境中参与共情、适应性和情境适当性交互的能力，研究结果表明 LLM 在支持性治疗工具方面具有巨大潜力，显示出在情感共鸣和对话适应性方面的优势，但也指出实现人类治疗师所具备个性化和情感理解深度的挑战，强调了应用人工智能于治疗环境中的伦理考虑的重要性。该研究为利用 LLM 进行自闭症青少年心理咨询提供了有价值的洞察力，并强调了在心理健康护理中探索人工智能作用的未来需要持续发展以增强这些模型在治疗环境中的能力的必要性。

Nov, 2023

基于大语言模型的临床能力评估范式，利用自动化评估方法来确保临床方案的安全性和可靠性。

Mar, 2024

通过方面导向的总结来评估大型语言模型在心理健康咨询中的应用，研究发现任务特定的语言模型在心理咨询的各个方面表现出较好的综合性能。

Feb, 2024

探索利用大型语言模型（LLM）作为促进多样评估的工具，实验表明 LLM 有效地促进师资讨论，具备从单一场景中泛化和创建评估标准的能力。

May, 2024

该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

Sep, 2023

通过讨论 LLMs 的核心能力、评估方法以及应用领域，我们提出了一个两阶段的框架来有效评估 LLMs 的能力，并考察了当前评估方法所面临的挑战和未来发展方向。

Jun, 2024

个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立 LLM 的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在 Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者 - LLM 互动的设计建议。

Oct, 2023

提出了一个使用大型语言模型的多智能体课堂模拟框架 SimClass，在用户参与下实现传统教学模式的模拟，通过实验证明了多个代理之间的协作能够增强用户的学习体验，并希望这项工作能够推动大型语言模型在虚拟教学中的应用。

Jun, 2024