Jul, 2023

ValiTex -- 一个适用于计算社会科学构造的文本检验框架

PDF
TL;DR本研究提出了一种名为 ValiTex 的新的验证框架，旨在帮助学者基于文本数据对社会科学构造进行测量，并通过将心理测量学的框架扩展到计算文本分析领域，提供通用的结构和具体的验证步骤。该框架在社交媒体数据中检测性别歧视的案例中展示了其实用性。
computational text-based measurestextual datavalitexvalidation frameworksexism
发现论文，激发创造
  • 评估文本嵌入的结构效度及其在调查问题中的应用

    该研究提出了使用构造效度框架评价文本嵌入模型在社会科学研究中的有效性，并发现基于 BERT 的嵌入技术和通用句子编码器提供了更有效的调查问题表述。

    Feb, 2022

  • TeTIm-Eval：一个用于比较文本到图像模型的新型策划评估数据集

    本文提出一种基于 CLIP-score、人类判断和包含 10 个类别的高质量图片文本数据集的新型评估方法，用于评估和比较最新的文本到图片模型。实验结果表明，人类判断的准确性与 CLIP-score 完全一致。数据集已经向公众开放。

    Dec, 2022

  • 自动度量文本生成系统有效性研究

    本篇论文提出了一种新的理论方法，用以评估文本生成模型的可靠性与鲁棒性，并在 WMT 21 和 Spot-The-Bot 数据上进行了应用与验证，并实现了对样本量的有效估算。

    Oct, 2022

  • 可视化文本分析中评估和实验设计的跨学科视角：立场文献

    本篇论文旨在从可视化与自然语言处理的交叉学科角度，探讨评估可视化文本分析方法的挑战，例如数据歧义、实验设计、用户信任以及整体考虑等，并提出研究机会。

    Sep, 2022

  • EditVal: 基于扩散的文本引导图像编辑方法的基准测试

    通过引入 EditVal，这是一个标准化的用于定量评估文本引导的图像编辑方法的基准测试，本研究对 8 种前沿扩散编辑方法进行了基准测试，发现 Instruct-Pix2Pix 和 Null-Text 的性能最好且能保持原始图像特性，而大多数编辑方法在空间操作方面失败，没有一个单独在各种编辑类型上排名最佳的方法。希望我们的基准测试能为未来开发更可靠的文本引导图像编辑工具铺平道路。

    Oct, 2023

  • 文本多样性的标准化测量：工具和分数的比较分析

    通过对英文文本的计算性高压缩算法和 $n$-gram 重叠同质性得分的测量，我们发现多种测量指标的组合（如压缩比、长 $n$-gram 的自我重复、Self-BLEU 和 BERTScore）足以报告多样性得分，并可应用于生成模型、调试指导型数据集和人工生产文本的分析。

    Mar, 2024

  • 文本特征化工具包

    本研究讨论了 NLP 模型性能评估中存在的偏向、伪相关以及假象等因素，并提出了使用 Text Characterization Toolkit 这一工具进行更深层次的结果分析和性质研究的方法。使用这一工具，可以预测难以处理的样本，识别数据集中潜在的（有害的）偏向和启发式方法。

    Oct, 2022

  • 使用文本进行混淆因素调整：因果推断中的挑战和实证评估框架

    该研究提供了第一个结合真实世界研究任务的文本因果推理方法的经验评估框架，评估了常用文本因果推理方法的优缺点，并公开任务、数据和模型，以促进应用和鼓励额外研究。

    Sep, 2020

  • Texygen: 文本生成模型基准测试平台

    Texygen 是一个支持对开放域文本生成模型进行研究的基准测试平台，它实现了大多数文本生成模型，并涵盖了一组用于评估生成文本的多样性、质量和一致性的度量标准。该平台有助于标准化文本生成研究，促进研究人员共享调整优化的开源实现，并改善未来文本生成研究工作的再现性和可靠性。

    Feb, 2018

  • 度量度量工具：文本语料库语义度量自动评估

    通过提出一系列的评估度量，本文对语义相似度度量的特征进行自动和可解释的评估，从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估，我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好，而经典度量则对表面文本水平的扰动更加敏感。

    Nov, 2022