Nov, 2023

重复问卷调查中保持用户参与度的方法：利用大型语言模型可靠地多样化问题

PDF
TL;DR利用大型语言模型（LLMs）生成多样的问卷版本，保持良好的心理测量学特性，以解决长期或前后研究中回应者疲劳的问题，从而提高问卷的参与度和信效度。
standardized questionnaireshci researchpsychometric propertiesrespondent fatiguellm-generated variants
发现论文，激发创造
  • 自动精神疾病评估中的 LLM 问卷填写

    我们利用大型语言模型将非结构化的心理访谈转化为涵盖各种精神疾病和人格领域的结构化问卷，通过模拟被访者的方式让语言模型回答这些问卷。得到的答案被编码为特征，并使用随机森林回归器预测抑郁症（PHQ-8）和创伤后应激障碍（PCL-C）的标准化精神健康测量值，比多个基准模型表现出更高的诊断准确性。因此，我们的研究提出了一种新的框架来解释非结构化的心理访谈，缩小叙事驱动和数据驱动方法在心理健康评估中的差距。

    Jun, 2024

  • 评估大型语言模型在心理测量工具上的可靠性

    大型语言模型（LLMs）在社会科学研究中的自然语言理解任务的通用性使其备受青睐。本研究探讨了当前的提示格式是否能使 LLMs 以一致且稳健的方式提供回答，结论发现即使对选项顺序进行简单扰动也足以显著降低模型的问答能力，且大多数 LLMs 在否定一致性方面表现低下，提示目前的普遍做法无法准确捕捉模型的认知，我们讨论了改进这些问题的可能替代方案。

    Nov, 2023

  • 在医学问题回答中探索大型语言模型的领域：观察和开放性问题

    通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。

    Oct, 2023

  • 医疗领域中的大型语言模型：一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024

  • 大规模语言模型的多语言文档问答评估方法

    通过使用大型语言模型，本文研究了这些模型的多语言能力。初步结果表明，将原始语言环境、问题和答案翻译成高资源语言会产生最佳结果。

    Feb, 2024

  • 基于分类的大型语言模型评估清单

    通过引入人类知识进行自然语言干预，本研究探索了预训练语言模型的行为特征，以性别偏见为背景，通过问答评估了模型的一致性、偏见倾向、模型偏好和性别偏好切换，并提供了首个基于人类知识的大语言模型偏见评估数据集。

    Dec, 2023

  • 坚守你的角色！大型语言模型表达的个人价值稳定性

    本研究通过模拟对话的方式，从不同的背景情境中探索大型语言模型的稳定性，并测量其在价值表达方面的可靠性。该研究发现，在不同背景和对话长度的情况下，模型的稳定性受到指导角色模拟和对话长度的影响，并强调了未来研究中模拟多样性角色以及对上下文依赖性进行更彻底和高效研究的重要性。

    Feb, 2024

  • 多项选择题与大型语言模型：以虚构医疗数据为例的案例研究

    利用模拟医学考题的方法评估大型语言模型在医学领域的表现，发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力，而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法，以更好地评估大型语言模型在医学背景下的真实能力。

    Jun, 2024

  • MedREQAL: 通过问答方式检验大型语言模型对医学知识的记忆能力

    近年来，大型语言模型（LLMs）在大文本语料库的预训练过程中展示了令人印象深刻的知识编码能力。本研究通过构建一个新的基于系统评述的数据集，评估了六种 LLMs（如 GPT 和 Mixtral）在医学知识回忆方面的能力，并揭示了此任务的复杂性。

    Jun, 2024

  • 大型语言模型的数量化知识检索

    大型语言模型可用于定量信息检索，以帮助数据分析任务，如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架，将大型语言模型视为科学文献的潜在空间界面，并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。

    Feb, 2024