使用最新的大型语言模型作为论证质量评估的代理者，研究了模型、人类专家和新手评估者之间的一致性，结果表明大型语言模型在大多数质量维度上与人类专家之间具有适度高的一致性，并且使用大型语言模型作为额外的评估者可以显著提高评估者间的一致性，因此提出大型语言模型可以作为自动化论证质量评估的有价值工具，从而加快了大规模论证数据的评估过程。

Apr, 2024

这项研究评估了大型语言模型在计算论证领域的表现，针对论证挖掘和论证生成等任务进行了零样本和少样本设定下的评估，并提出了 14 个公开数据集的标准化格式，以及一种新的针对反述生成的基准数据集，展示了大型语言模型在论证领域的良好性能，并指出评估计算论证的局限性和未来研究方向的建议。

Nov, 2023

本文研究基于 NLP 和大量文本数据得到的自动化 argument mining，评估 argument 质量估计对于不同领域的通用性、与相关 argument mining 任务的相互作用以及情感对于观察到的 argument 强度的影响。作者发现不同领域的训练数据可以提高质量估计的泛化能力，在零样本迁移和多任务实验中，argument quality 在多个方面都能够得到改善，而情感对 argument quality 的影响不如人们普遍认为的那样大。

May, 2022

介绍了一种计算论证语义引擎（MQArgEng）和初步研究，评估引入计算论证语义对大型语言模型性能的影响。实验结果表明 MQArgEng 在大部分考察的主题类别中提供了适度的性能提升，呈现出潜力并值得进一步研究。

May, 2024

本研究针对计算论证质量 (AQ) 的整体评估展开前期工作，提出了一种基于理论的评估方法，并开发了首个大规模的英文多领域 (AQ 社区问答、辩论、评论) 语料库 GAQCorpus，为之后的工作提供了坚实的基础。

Jun, 2020

本文研究自然语言争辩的质量维度及其依赖的语言特征、上下文和主题知识等方面，并通过实验验证了计算机自主评估质量维度的有效性和局限性。

Oct, 2020

本文提出一种计算论证的质量评估方法，通过比较同一主张的不同版本来评定其质量，证明能够有效泛化于不同主题之间。该方法基于大规模样本库及嵌入式逻辑回归和基于 Transformer 的神经网络，并提供数据和脚本以复现结果。

Jan, 2021

提出了一种基于上下文知识的新颖的 SPARK 方法，使用大型语言模型评估和增强语言质量，提供反馈，推断隐藏假设，提供同等质量的论证或反论证，并使用双编码器 Transformer 架构共同考虑原始论证及其增强，实验结果表明，SPARK 在多个指标上始终优于基线。

May, 2023

评估当代大型语言模型（LLM）进行论证推理的能力，发现大语言模型在论证挖掘（AM）和论证对提取（APE）任务中表现出了能够匹配或超过最新技术的能力，但它们的论证推理性能非常依赖于输入和输出表示形式。

Sep, 2023

借助大型语言模型（LLMs）等新的自然语言处理技术，自动评估课堂讨论质量变得越来越可行。本文研究了两种 LLMs 的评估性能如何与任务制定、上下文长度和少样本示例等三个可能影响性能的因素相互作用。我们还探讨了两种 LLMs 的计算效率和预测一致性。结果表明，前述三个因素确实影响了被测试 LLMs 的性能，并且预测一致性与性能之间存在关系。我们建议采用以 LLMs 为基础的评估方法，在预测性能、计算效率和一致性方面取得良好平衡。

Jun, 2024