ACLMay, 2024

关于量化语言相似性的可重复性研究：在 URIEL 知识库中缺失值的影响

PDF
TL;DR本研究重点研究的是一个广泛使用的语言学知识库 URIEL，在量化语言相似性方面的方法准确性和可复现性存在问题，尤其在处理缺失值和低资源语言方面存在模糊性，这使得数据库的可靠性受到了影响。
发现论文，激发创造
  • 概念语言相似性的研究：比较与评估

    本研究旨在将语言学的特性纳入到自然语言处理（NLP）中，通过基于基本概念的表示来定义语言之间的相似性并将其应用于二元分类任务中的低资源语言研究。

    May, 2023

  • 使用潜在语义索引实现双语文档对齐

    本文研究了如何在双语文档对齐任务中应用交叉语言传递矩阵，提取出文档的重要特征，通过将两种余弦相似度变量与 URL 相似度量的结合，可以达到高精度的 Web 页面对齐。

    Jul, 2017

  • 多语言评估的注意事项：平均值不足以说明问题

    本文讨论多语言评估的问题，提出了基于比较语言学的定性分析方法来检测单一语言家族偏见所带来的语言偏差，并以使用 URIEL 类型数据库的可视化效果作为案例展示。

    Jan, 2023

  • 测量大型语言模型的表示相似性

    对大型语言模型之间的相似性进行了研究，发现有些模型之间存在显著的差异。揭示了使用相似性评估得出虚假结论的挑战以及需要进行仔细研究的必要性。

    Dec, 2023

  • SimRelUz：一份用于乌兹别克语语义评估的相似度和相关性评分数据集

    本文介绍了一个基于模拟瑞尔兹（SimRelUz）数据集的语义模型评估数据集，用于评估语义模型的鲁棒性和低资源语言的语义关系。

    May, 2022

  • 通过知识图谱比较确保大型语言模型训练数据的负责任采购

    我们提出了一种新颖的系统，是一个剽窃检测系统的变种，用于评估知识源是否在大型语言模型的训练或微调中使用。与现有方法不同，我们利用资源描述框架（RDF）三元组从源文件和大型语言模型的延续中创建知识图。通过使用余弦相似度和归一化版本的图编辑距离分析这些图像的内容和结构，显示了同构的程度。此外，我们的方法不需要访问 LLM 指标，如迷惑度，因为在封闭的大型语言建模 “黑盒” 系统中可能无法获得此类指标，也不需要访问训练语料库。我们系统的原型将在一个带有超链接的 GitHub 存储库中找到。

    Jul, 2024

  • 多语言信息检索中的语言公平性

    提议一种语言公平度量标准，用于评估多语言信息检索系统在对不同语言的文档进行排序时是否存在公平性，并通过 Kruskal-Wallis 测试进行统计等价性检验。通过人工排名列表和实际检索系统的评估，得出 PEER 得分与以往对多语言信息检索系统公平性的分析结果具有一致性的结论。

    May, 2024

  • 利用大语言模型学习低资源语言的翻译质量评估

    使用大型语言模型，无需人工注释，将合成数据集混合到现有数据集中，可以提高低资源语言的 BLEURT 模型性能。

    Feb, 2023

  • 弥合差距：有效映射 PubMed 查询与文档的语义相似度度量

    提出了一种基于 Word Mover's Distance 计算单词间距离的查询 - 文档相似度测量方法，利用神经词嵌入在检索无直接匹配的情况下发现相关词，并将其与 BM25 相结合，结果在 TREC Genomics 数据上平均精度平均提高 12％，在来自 PubMed 搜索日志的真实数据集上，结合学习排序的方法，正确率提高了 25％，表明该方法与 BM25 的结合可以产生更出色的性能。

    Aug, 2016

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023