May, 2024

为共创即兴剧院设计和评估对话 LLMs

PDF
TL;DR社交机器人研究者对于多方训练的对话代理越来越感兴趣。本研究在爱丁堡节的一个月长的现场表演中使用大型语言模型（LLMs），调查了在职业剧院环境中，人类演员如何与对话代理合作创作。我们探索了即兴多方对话的技术能力和限制，并从观众和表演者的经验中提供了全面的见解。我们的 “人在环环” 的方法强调了这些 LLMs 在生成与上下文相关的回复方面的挑战，并强调了用户界面的关键作用。观众的反馈表明了对 AI 驱动的现场娱乐、人机直接互动以及对 AI 在创造力支持工具方面多样化的期望。人类演员表达了巨大的热情和不同程度的满意度，而不断演变的公众舆论则凸显了人们对于 AI 在艺术中的角色的复杂情感。
social roboticsmulti-party trained conversational agentslarge language modelshuman improvisersai-driven live entertainment
发现论文，激发创造
  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • 使用 LLMs 生成饶有表情的机器人行为与桌面机器人 Haru 的对话

    通过将大型语言模型（LLMs）整合到社交机器人中，本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统，利用 LLMs 生成具有有表情的机器人回应，与机器人的个性一致。我们结合两种模式的机器人行为：1）具有多种表现风格的文本转语音（TTS）引擎，和 2）用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型，用于动态选择机器人的语调，并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验，我们研究和分析了他们的反馈，对聊天记录进行了严格的错误分析，以阐明设计和实现问题。反馈普遍积极，参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别（ASR）错误，这对对话的影响有限。然而，我们观察到了一类较小的错误，如 LLM 的自我重复或虚构信息和人类回答的产生，这可能会破坏对话，引发了 LLM 应用中的重要问题。

    Feb, 2024

  • 大型语言模型在与人类辩论的局限性

    当前的研究论文测试了大型语言模型（LLMs）的可行性，作为人工代理人参与社会学实验中的对话活动，揭示了 LLMs 在辩论中的限制，以及其对人类的影响和能力。

    Feb, 2024

  • 机器人走进酒吧：语言模型是否可以作为创意支持工具用于喜剧？对 LLM 的幽默吻合度与喜剧演员的评估

    我们采访了二十位职业喜剧演员，他们在爱丁堡艺术节上进行的「AI x 喜剧」三小时工作坊中使用人工智能作为艺术创作的一部分，并进行了在线调查。结果显示使用大型语言模型进行喜剧创作并未成功，与此同时，参与者也提出了关于偏见和审查等伦理问题。本研究拓展了学术界对伤害性言论和「冒犯性」语言之间微妙差异的理解，并讨论了基于社区的价值观对齐和数据所有权的重要性，以构建更适合艺术家需求的人工智能工具。

    May, 2024

  • 我们中的语言生成机器人：生成型人工智能参与数字交流

    在 Mastodon 社交媒体平台上，我们使用了 “LLMs Among Us” 实验框架构建了 10 个角色来研究大型语言模型的潜力和威胁，发现参与者只有 42% 的准确率能识别出其他用户的真实性。此外，我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。

    Feb, 2024

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 我们来谈谈：探索竞争 LLM 代理商的自发合作

    最近的研究发现，由大型语言模型（LLMs）驱动的代理人具有模拟人类行为和社会动态的能力。我们通过三个案例研究揭示，即使在竞争环境中，LLM 代理人也能够自发地建立合作关系。这一发现不仅展示了 LLM 代理人模仿人类社会中竞争与合作的能力，而且验证了计算社会科学的一个有前途的愿景。具体来说，它表明 LLM 代理人可以用来模拟人类社会交互，包括自发的合作，从而为社会现象提供洞察力。

    Feb, 2024

  • 通过大型语言模型探索自主代理：一项综述

    大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

    Apr, 2024

  • 对话评估工作台：将 LLMs 作为类人对话系统进行评估

    本文提出了 DialogBench，这是一个用于评估 LLMs 作为类似人类对话系统的能力的对话评估基准，包含 12 个对话任务。通过对 28 个 LLMs 进行广泛的测试，结果表明虽然细化调整能改善 LLMs 的人类对话系统相似度，但对于大多数 LLMs 仍有提升空间。

    Nov, 2023

  • 面向社交感知的辅助大型语言模型代理的谈判对话

    通过使用 LLM 代理来减轻多代理环境下的谈判中的社会规范违规行为，并引入基于价值影响的上下文学习方法来识别高质量例子，以改善谈判结果。

    Jan, 2024