该研究在不使用参考文献的情况下，利用各种词嵌入和递归神经网络结构的语言模型，通过比较分析 10 种印度语言中的流畅度评分与人工判断的相关性，提供了一种测量文本流畅性的新方法。

Dec, 2023

本文提出了一种多语言无参考质量度量方法，使用预先训练的语言模型采用对比学习的自我监督学习方式进行微调，针对自动语音识别模型提出了一个评估标准，该评估标准可以在没有参考标记的情况下比较不同自动语音识别模型的性能，并在减少识别错误和提高性能方面效果显著。

Jun, 2023

自动评估句子简化仍然是一个具有挑战性的问题，我们提出了一种新的学习评估度量 (SLE)，该度量侧重于简化，与人类判断相关性方面表现优越。

Oct, 2023

本研究发现参考无关的自然语言生成系统的评估指标（即用于摘要和对话生成的评估指标）可能会依赖于与诸如单词重叠，困惑度和长度等指标的虚假相关性。同时，我们注意到当评估最先进的抽象化摘要系统时，这些指标具有高错误率，但可以通过明确设计避免参考无关特征进行评估指标以减轻这种错误。

Apr, 2022

本文介绍了一种名为 NoRefER 的新型无参考质量评估指标，其采用对比学习和连体网络结构，自我监督地精调跨语言语言模型以进行自动语音识别假设的点对排序以评估质量。半监督版本还使用参考数据集来改善对潜在错误样本的选择。实验结果表明，NoRefER 与基于参考的指标高度相关，具有不错的无参考 ASR 评估或 A / B 测试潜力。

Jun, 2023

通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

Apr, 2021

本研究评估大型语言模型对于自动无参考翻译评估的有效性，并通过模拟人类直接评估的实验来评估英语和印度语言译文的质量。通过构建一个翻译评估任务，我们进行了零样本学习、上下文示例驱动学习和大型语言模型微调，从而提供了一个 0 到 100 的分数，其中 100 表示完美的翻译，1 表示糟糕的翻译。我们将经过训练的系统与现有方法（如 COMET、BERT-Scorer 和 LABSE）进行比较，发现基于大型语言模型的评估器（LLaMA-2-13B）在考虑的印度语言对上实现了相当或更高的整体相关性与人类判断。

Apr, 2024

本文介绍了一种新的面向语言生成的评估标准，即 Language Model Augmented Relevance Score（MARS）。该标准引入了强化学习引导的预训练语言模型来创建上下文感知的评估参考，并将之用于对生成文本进行评分。与已有的七种评估标准相比，MARS 不仅更好地反映了人类评价，而且在较大程度上区分了良好生成结果和对抗样本。

Aug, 2021

通过使用滑动窗口对每个测试集文档进行块级句子处理，并将每个块输入未经修改的现成品质估计模型，我们提出了一个名为 SLIDE（滑动文档评估器）的度量标准，发现 SLIDE 比其句子级基准模型在配对系统准确性上获得了显著改进，有时甚至消除了与基于参考文献的度量标准之间的差距，这表明源上下文可能提供与人类参考文献相同的信息。

Sep, 2023

本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。

Jan, 2022