Sep, 2024

值得信赖的对话：人类与人工智能对生成对话的看法

HTML
PDF
TL;DR本研究解决了对话系统和聊天机器人在日常互动中的评估效率和准确性不足的问题。通过对人类和AI在多种对话场景下的评估性能进行比较，揭示了GPT模型与人类判断的一致性，尤其是在保持事实准确性和常识推理方面的强大表现。研究结果为提高对话评估方法和促进更人性化的AI沟通工具的发展提供了重要见解。
发现论文，激发创造
  • 评估和比较开放域对话系统

    本文提出了一种全面的评估策略，与人类判断相关的几个指标是构建无目标对话系统的关键，此方法可促进对话型AI的自动化评估过程。

    Jan, 2018

  • 利用蕴涵关系评估对话系统中的一致性

    本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

    Apr, 2019

  • 使用自我对战近似交互式人类评估的开放域对话系统

    本文提出一种交互式的人工评估对话质量的方法，并介绍了一种基于自我对话的度量方式，该方式可以更好地捕捉对话模型的质量，同时使用了情感和语义连贯性等维度。通过对多个模型的实验比较，研究表明，这种度量方式优于目前已知的所有自动化方法，同时也优于静态会话的人工评估。最后，开放性地共享出研究基于交互式评估所构建的数据集和平台以供其它研究者使用。

    Jun, 2019

  • 走向统一的对话系统评估：对当前评估协议的全面分析

    本文针对对话系统中的评估协议不统一的问题，综合研究了人工评估和自动评估方法，建议建立更加健壮和统一的评估协议，并对目前使用的自动、静态和交互式评估方法进行分析，最终通过与 Alexa Prize 2020 中的系统-用户对话数据进行比较，提出最有效的评估维度。

    Jun, 2020

  • Spot The Bot: 评估对话式系统的强大高效框架

    本文介绍了一种名为“Spot The Bot”的聊天机器人评估框架，该框架使用“生存分析”作为度量标准，并通过与其他聊天机器人的比较，评估其在模拟人类会话行为方面的能力，以此取代传统基于人工评估的方式。

    Oct, 2020

  • 人类评估对话的敏感度是个开放性问题：比较不同的方法用于评估对话代理

    本文研究了如何有效地评估对话系统的性能，发现人工评估是最好的方法，但人工评估方法的不同会导致不同的数量的人工注释和劳动成本，因此我们比较了五种不同的众包工人评估方法，发现不同的方法适用于不同类型的模型比较，建议在何时采用哪种方法，以及未来的研究方向。

    Jan, 2022

  • 实现对开放域对话系统的可靠人工评估

    本文提出了一种可靠且低成本的人类评估方法，以取代已被证明不可靠的自动评估方法，比较了与无人设定的系统相比，使用人设定对话主题的对话系统在对话质量上没有积极的贡献。

    Mar, 2022

  • 探索人类评估员团队对以对话为导向的对话评估的影响

    本研究分析了4个不同的评价者组对4个先进的对话系统进行评估的影响，结果表明在Likert评估中评价者组的选择对结果影响较小，但在Pairwise评估中存在显著差异，同时也发现了与对话机器人专业水平相关的评价者不一致问题，并指出在某些对话指标中评价者的客观性是有益的。

    Sep, 2023

  • 可以信任的对话：人类与AI对生成对话的视角

    本研究解决了对话系统评估效率与准确性缺乏的方法问题，通过比较人类与AI在多种对话场景下的评估表现，揭示了GPT模型与人类判断的紧密一致性。研究表明，尽管GPT-4o在保持事实准确性和常识推理上表现良好，但在减少冗余和自我矛盾方面仍需改进，为未来更精准的对话评估方法奠定基础。

    Sep, 2024

  • 在线与离线：第一方与第三方对社交聊天机器人的评估比较研究

    本研究解决了在评估对话聊天机器人时在线与离线评估方法的有效性之间的差距。通过扩展包含同情心聊天机器人的用户对话的基准数据集，并引入离线第三方评估，我们系统地比较了在线互动反馈与离线评估的差异。最重要的发现是，离线评估未能有效捕捉人机互动的细微差别，而使用GPT-4模型的自动化第三方评估能更好地接近第一方人类判断，从而推动对话AI评估的改进。

    Sep, 2024