Aug, 2024

利用大型语言模型估计在线讨论中的贡献质量

HTML
PDF
TL;DR本研究针对在线讨论中贡献质量评估的困难，提出了一种利用大型语言模型（LLM）的方法，以替代传统的人类评估方式。研究发现，该模型在评估贡献质量时优于个别人类评估者，且维持了与无干预情况下相似的质量评分，表明干预措施能有效提升讨论质量而不损害贡献水平。
发现论文，激发创造
  • 建模在线辩论中用户和语言效应的语料库

    本文介绍了一个包含78,376次辩论和全面参与者个人资料的数据集，利用该数据集，与通常用于类似研究的语言特征相比，分析了选定用户特征对辩论结果的影响。

    Jun, 2019

  • 修辞、逻辑和辩证法：自然语言处理中理论为基础的论证质量评估的推进

    本研究针对计算论证质量(AQ)的整体评估展开前期工作，提出了一种基于理论的评估方法，并开发了首个大规模的英文多领域(AQ社区问答、辩论、评论)语料库GAQCorpus，为之后的工作提供了坚实的基础。

    Jun, 2020

  • 通过多次深入讨论实现自动评论生成

    DECOM是一种多通道决策框架，用于自动生成代码评论，并通过评估模型检测评论的质量，实验结果证明DECOM产生的评论更可读、信息量更大和更有用。

    Sep, 2022

  • 利用自然语言解释缩放人类判断

    本文提出了一种利用自然语言解释对大型语言模型进行训练的方法，通过收集一致性注释来标记数据，以及利用该方法对大型语言模型进行训练，从而提高标注数据的质量。

    May, 2023

  • 语言模型调节员能提升在线交流的健康性吗？

    本文通过一种多学科的视角，建立了对对话调节有效性的系统定义，并提出了一个综合评估框架，以在无人干预的情况下评估模型的调节能力。通过该框架进行的首个已知的对话模型作为调节员的研究发现，适当引导的模型可以对有害行为提供具体而公正的反馈，但难以影响用户提高他们的尊重和合作水平。

    Nov, 2023

  • 论论述多样性的实证分析

    通过介绍多个方面的多样性，包括意见、注释者和来源，评估了目前在关键点分析任务中表现欠佳的高层次论证总结方法，并发现通用 LLM 和专用 KPA 模型在处理数据来源、代表少数人的论点和人类提供的主观性方面存在互补的优势，观察到多样化的训练数据可能改善泛化能力，因此解决论证总结中的多样性问题需要采取多种策略以应对主观性。

    Feb, 2024

  • 与更具说服力的LLMs辩论会导致更真实的回答

    大型语言模型的对齐方法主要依赖于人工标注数据，但随着模型的不断发展，人类专业知识将不再足够，将由非专家来监督专家。我们研究了一个类似情景，强大模型（专家）拥有回答问题所需的信息，而弱小模型（非专家）缺乏这些信息。我们发现辩论方法对非专家模型和人类都有帮助，相应的准确率分别为76%和88%（与朴素基准分别为48%和60%）。此外，以无监督方式优化专业辩手的说服力可以提高非专家模型在辩论中识别真相的能力。我们的研究结果为在没有绝对真实性的情况下，通过辩论来对齐模型提供了有益的实证证据。

    Feb, 2024

  • 大型语言模型中的论证质量评估

    对有争议问题的论述的计算处理在自然语言处理领域进行了广泛研究，其中论证质量评估是一个关键且具有挑战性的任务。本文提出了利用大型语言模型，通过系统指导其熟悉论证理论和场景以及解决相关问题的方式，以实现更可靠的论证质量评估，同时讨论了由此而产生的现实机遇和道德问题。

    Mar, 2024

  • 将专家和非专家的观点结合起来，利用LLMs评估在线讨论中的审议质量

    通过开发适配器模型并计算专家和非专家之间的相关系数，我们引入了 AQuA，一种从多个指标计算统一的辩论质量分数的附加分数。从预先训练的适配器中轻松计算 AQuA 分数，并且与其他未在训练中见过的数据集上的注释相吻合，这与专家和非专家的注释分析确认了社会科学文献中的理论发现。

    Apr, 2024

  • 从代偿视角看评审者的凝聚力与质量

    本研究旨在解决人类反馈中普遍存在的意见分歧问题，特别是在政治敏感环境中的评审者之间的对立信仰和价值观。论文提出了一种新颖的代偿注释方法，并通过分析评审者凝聚力和质量来探讨政治倾向及人口背景对评审者感知的影响，最终为提高人类中心AI系统的评审质量提供了重要洞见。

    Aug, 2024