Mar, 2024

文本多样性的标准化测量：工具和分数的比较分析

PDF
TL;DR通过对英文文本的计算性高压缩算法和 $n$-gram 重叠同质性得分的测量，我们发现多种测量指标的组合（如压缩比、长 $n$-gram 的自我重复、Self-BLEU 和 BERTScore）足以报告多样性得分，并可应用于生成模型、调试指导型数据集和人工生产文本的分析。
diversitylarge language modelscompression algorithms$n$-gram overlap homogeneity scoresgenerative models
发现论文，激发创造
  • 在文本生成模型中联合测量多样性和质量

    本文章提出一种同时评估生成文本方法质量和多样性的度量标准，通过逼近学习生成模型和真实数据分布的距离，并介绍了基于 n-gram 和 BERT 特征的度量方法，并且在 Oracle 训练模式下使用相应显式分布之间的距离。最后，使用现有和提出的度量标准对最流行和最新的文本生成模型进行评估，确定提出度量标准的优势。

    Apr, 2019

  • 透明比较多语言自然语言处理数据集中的语言多样性的一种度量

    提出了一种评估数据集语言多样性的方法，通过比较语言特征集合的 Jaccard 指数来分析，发现大部分流行的多语种数据集中缺乏多种语言类型，特别是 (poly) synthetic languages。

    Mar, 2024

  • 自然语言生成中多样性评估的评估

    本文提出了一种通过建立多样性度量指标及其多样性参数之间关系的系统来评估自然语言生成（NLG）系统多样性的方法，并通过对人类和自动度量，解码参数调整等方面的实验展示了这个框架的实用性。

    Apr, 2020

  • 超越规模：多样性系数作为数据质量度量展示 LLMs 是在形式多样的数据上预训练的

    研究发现使用 Task2Vec diversity coefficient 可以衡量预训练数据集的多样性，该多样性与潜在概念的数量成正比，且可用于构建有用的多样化预训练数据集。

    Jun, 2023

  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019

  • 度量度量工具：文本语料库语义度量自动评估

    通过提出一系列的评估度量，本文对语义相似度度量的特征进行自动和可解释的评估，从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估，我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好，而经典度量则对表面文本水平的扰动更加敏感。

    Nov, 2022

  • ROBBIE: 大规模生成语言模型的稳健偏见评估

    评估和改善大型语言模型（LLMs）的公平性，通过使用不同的提示性数据集来测量社会偏见，对比模型之间的偏差和毒性度量，并研究偏差 / 毒性降低技术的效果。我们开源分析代码以鼓励测量未来 LLMs 偏见的广泛研究。

    Nov, 2023

  • 对话生成语义多样性的测量和改进

    本文提出了一种新的自动化评估指标，用于衡量生成响应的语义多样性，以及一种基于语义分布权重的学习方法，用于提高生成响应的语义多样性和连贯性。

    Oct, 2022

  • NMTScore: 基于翻译的文本相似度测量方法的多语言分析

    本研究基于多语言神经机器翻译的框架，通过分析直接和间接翻译概率以及交叉似然度量的相似度评估方法，研究了这些方法在短文本相似度评估中的性能，提出并实现了基于翻译的相似度评估方法库 NMTScore，并在两项数据生成任务和 17 种语言上进行了基于参考评价的实验，结果表明该方法较其他方法更具鲁棒性，并与人类判断有较高的相关性。

    Apr, 2022

  • BERTScore 不公平：基于语言模型的文本生成度量中的社会偏见

    本文首次对基于预训练语言模型的度量方法中的社会偏见进行了系统研究，并发现相比传统度量方法，最受欢迎的基于预训练语言模型的度量方法在种族、性别、宗教、外貌、年龄和社会经济地位等 6 个敏感属性上显示出显著的社会偏向。此外，研究发现选择度量方法的范式比选择预训练语言模型对公平性的影响更大，我们提出了消除偏见的适配器方案，将其注入到预训练语言模型层中，从而减轻了基于预训练语言模型的度量方法的偏见，同时保持了评估文本生成的高性能。

    Oct, 2022