Feb, 2024

面向可伸缩性的儿童自闭症干预的机器人介入优化

PDF
TL;DR我们提出了一种社交机器人，可以与自闭症谱系障碍（ASD）的儿童进行口头交流，以教授利用大型语言模型（LLM）生成的文本进行透视能力培养。该社交机器人 NAO 充当了一个刺激器（描述一种社交情境并提问）、提示器（提供三个选项供选择）和强化器（当回答正确时表扬）。我们比较了两种方法：GPT-2 + BART 和 GPT-2 + GPT-2，其中第一个 GPT-2 在两个流程中用于无监督社交情境生成。我们使用 SOCIALIQA 数据集对所有 LLM 流程进行了微调。我们发现 GPT-2 + BART 流程在生成问题和选项时具有更好的 BERTscore，通过组合它们的各自损失函数进行评估，这个发现也得到了人工评估的验证。最后，我们使用 T-SNE 图可视化了无监督生成的社交情境，并由人类专家评估了整个流程对 ASD 儿童的适应性。
发现论文，激发创造
  • 探索大型语言模型用于实现人机协作的可变自主性

    该论文探讨了将大型语言模型（如生成式预训练变换器 GPT）整合到人机合作环境中，通过口头人机交流手段促进可变自主性的快速发展的数字景观中，介绍了一种基于 Unity 虚拟现实（VR）环境的 GPT 驱动多机器人测试平台的创新框架。用户研究表明，用户对于与机器人对话的预设期望较高，却很少尝试探索机器人合作伙伴的实际语言和认知能力，但那些进行探索的用户能从更自然的沟通和人类式的双向交流中受益。我们提供了一组对未来研究和类似系统的技术实施的经验教训。

    Dec, 2023

  • 大型语言模型如何促进更好的社交辅助人机交互：简要调查

    在本文中，我们对 LLMs 在 SAR 技术中的应用进行了简要调查，并讨论了将 LLMs 应用于 SAR 的三个主要技术挑战（自然语言对话、多模态理解和 LLMs 作为机器人策略）的潜力和风险。

    Apr, 2024

  • 利用大型语言模型生成合成数据以提高基于 BERT 的神经网络的性能

    利用大型语言模型（LLMs）生成的合成观察数据，用于改善机器学习模型对于自闭症谱系障碍（ASD）诊断的准确性。通过评估 ChatGPT 和 GPT-Premium 生成的 4,200 个合成观察数据，并使用预训练于生物医学文献的 BERT 分类器比较模型之间的性能差异，发现数据增加了召回率 13%，但降低了精确度 16%。未来的研究将分析不同合成数据特征对机器学习结果的影响。

    May, 2024

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示 GPT-4 在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024

  • 使用 LLMs 生成饶有表情的机器人行为与桌面机器人 Haru 的对话

    通过将大型语言模型（LLMs）整合到社交机器人中，本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统，利用 LLMs 生成具有有表情的机器人回应，与机器人的个性一致。我们结合两种模式的机器人行为：1）具有多种表现风格的文本转语音（TTS）引擎，和 2）用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型，用于动态选择机器人的语调，并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验，我们研究和分析了他们的反馈，对聊天记录进行了严格的错误分析，以阐明设计和实现问题。反馈普遍积极，参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别（ASR）错误，这对对话的影响有限。然而，我们观察到了一类较小的错误，如 LLM 的自我重复或虚构信息和人类回答的产生，这可能会破坏对话，引发了 LLM 应用中的重要问题。

    Feb, 2024

  • 使用大语言模型增强基于流水线的会话代理

    本研究探讨了大型语言模型（LLM）在改进基于流水线的对话代理中的能力，并通过私人银行业务的实例证明了 LLMs 的潜力和公司采用混合方法的好处。

    Sep, 2023

  • 运用 GPT-3 驱动教学代理系统培养儿童的好奇心提问技能

    本研究借鉴自然语言处理和大型语言模型相结合的方法，采用自然文本提示来制作课程内容，有效提高了儿童好奇心问题的生成能力，同时发现开放式训练内容更适合培养好奇心问题发现的技能。

    Nov, 2022

  • 大型语言模型用于认知行为疗法中的响应生成：与苏格拉底式质询的比较研究

    通过比较基于 LLMs 生成的回应与非基于 LLMs 生成的回应的系统，研究了生成回应对主观评价（如情绪变化、认知变化和对话质量）的影响。结果表明，使用 GPT-4 时，情绪变化、共情和其他对话品质显著改善，说明 GPT-4 具有较高的心理咨询能力。然而，研究还指出，即使使用了人类心理咨询数据集训练的对话模型，与基于情景的对话相比，并不能产生更好的结果。在使用了规则、情景或示例回应的系统中，可以通过人工专业人士提前使用 LLMs 生成示例回应或回应模板的方式呈现基于 LLMs 生成的回应，并且直接与用户在现实的心理健康服务中进行交互，这可能引发一些伦理问题。

    Jan, 2024

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • VoicePilot: 利用语言模型作为机器人辅助的语音界面

    通过结合大规模语言模型作为语音界面，我们提出了一个框架，用于将大规模语言模型应用于物理辅助机器人，以实现高水平任务规划和代码生成，并通过实证研究为物理辅助机器人的语音界面设计提供指导。

    Apr, 2024