- PostMark: 大型语言模型的稳健黑盒水印
我们开发了 PostMark，这是一种模块化的事后水印程序，可以在解码过程完成后将一组依赖于输入的词语插入到文本中，而无需访问对数。与现有的水印方法相比，PostMark 对释词攻击更加鲁棒，并通过自动和人工评估来评估其对文本质量的影响，突 - 大型语言模型中用于低熵和无偏生成的水印
近期大型语言模型的发展突显了滥用的风险，并引发了对于精确检测大型语言模型生成内容的担忧。本研究提出了一种名为 STA-1 的无偏水印方法，该方法在检测过程中不需要获取大型语言模型，也不需要提示信息，并且对于水印检测的第二类错误提供了统计保证 - 大型语言模型的评估存在不一致和偏见
本研究通过使用 SummEval 数据集进行一系列分析，证实了大型语言模型作为评估器在以下方面存在偏见和不一致性：（1）体现对低困惑度文本的偏好；（2）显示具有偏见的评分分布；（3）经历多属性判断时的锚定效应。此外，我们分享了配置大型语言模 - RepEval: LLM 表征的有效文本评估
自动生成文本的自动评估指标在自然语言生成领域中起着重要作用，特别是随着大规模语言模型的快速发展。然而，现有的评估指标通常局限于特定情景，因此需要新的、灵活和有效的指标。本研究介绍了 RepEval，这是第一个利用 LLM 表示的投影进行评估 - 基于文本质量的修剪方法用于语言模型的高效训练
本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这 - 写作的路线：大语言模型的概述指导文本生成
通过引入 Writing Path 框架，本研究提出了一种利用明确的大纲来指导大型语言模型生成目标导向、高质量写作的方法。在使用 GPT-3.5-turbo、GPT-4 和 HyperCLOVA X 进行评估时，该方法显著提高了文本质量，进 - 滤波直接优化偏好
利用人类反馈进行强化学习在与人类倾向对齐的语言模型中起着关键作用。研究表明文本质量对于基于 Direct Preference Optimization (DPO) 进行优化的模型性能影响较大，而本文提出了一种扩展的 DPO 方法，即 fi - MATEval：用于推进开放式文本评估的多智能体讨论框架
通过 MATEval 框架使用生成型大型语言模型进行多智能体文本评估，针对评估开放性文本中的不确定性和不稳定性问题进行改进，并取得了与人类评估最高的相关性，大幅提高了工业场景中的文本评估和模型迭代效率。
- 大型语言模型的自适应文本水印
该论文提出了一种自适应水印策略来解决大语言模型生成高质量水印文本并保持强大安全性、稳健性以及在没有先验知识的情况下检测水印的能力的问题。
- 一种新的评估度量捕捉由 LLM 数字水印引起的质量降低
评估大语言模型水印技术的新方法，并揭示了当前水印方法的可检测性、对文本质量的影响以及评估水印质量的重要性。
- 通过词重要性评分提高带水印的大型语言模型的生成质量
使用重要性评分的水印语言模型提高生成的文本质量，并提出三种预测重要性评分的方法。
- 语言模型的公开可检测水印
我们构建了第一个能在语言模型中具备公开可检测性或验证性的可证明水印方案：我们使用私钥进行水印嵌入，使用公钥进行水印检测。我们的方案是第一个不在生成的文本中嵌入统计信号的水印方案。相反，我们直接使用一种拒绝采样的方式嵌入可公开验证的密码学签名 - 用于减少大型语言模型无根幻觉的自然语言推理链
提出了一个使用自然语言推理链 (CoNLI) 来进行幻觉检测和幻觉减少的层次性框架，通过后期编辑来减少幻觉生成，从而提升文本质量。该框架在幻觉检测方面取得了最先进的性能，并在不进行微调或特定领域提示工程的情况下，使用大型语言模型 (LLMs - 利用场景文本质量评估实现深度图像压缩
本文提出了一种图像压缩方法，通过提出一种场景文本图像质量评估模型来保持文本质量，该模型迭代搜索保持高质量文本的最佳压缩图像，客观和主观结果表明该方法优于现有方法，探究把这一方法推广到互联网通信工程中的实际应用。
- 探索使用大型语言模型进行基于参考文本无关的文本质量评估：初步实证研究
通过比较三种基于 ChatGPT 或类似大型语言模型的无参考评估方法，实验证明 ChatGPT 能够有效地从不同角度评估文本质量，尤其是利用 ChatGPT 生成数字评分的 Explicit Score 方法最有效可靠。但是，直接使用 Ch - PLM perplexity 不可靠于文本质量评估
本文阐述了困惑度 (PPL) 在生成文本质量评估中存在的问题，如过度强调其在短文本中的不利作用，以及重复文本区间和标点符号对其表现的影响，实验发现困惑度不可靠。最后，讨论了使用语言模型评估文本质量的关键问题。
- 生成变压器检测中的神经 - 统计特征的对抗鲁棒性
本研究探讨了计算机生成文本检测及其鲁棒性问题，发现统计特征在提高模型鲁棒性方面表现优越，建议在组合检测模型中采用；同时，复杂短语特征已经不再适用于现代生成模型的检测，传统统计特征已经成为更优的选择。
- ACL跨领域可传递的神经连贯性模型
本研究探索了一种本地判别神经模型来提高文本的一致性，这样可以实现更广泛的领域泛化，从而显著提高了文章的可读性。
- AAAI文档自动后编辑
这篇文章研究了如何自动提高机器翻译的文章质量，提出了可移植的 postediting 模块来替代改善某个系统内部的方法，并且通过学习算法构建了一个完整的文章选择自动 postediting 模块，并与人类表现进行了比较。