本文提出了一种新的度量标准 S$^2$match,它可以比较 Abstract Meaning Representation (AMR) graphs 并评估 triple matches,与具有类似功能的 Smatch 和 SemBleu 比较后,S$^2$match 具有更好的性能,能够更好地控制偏差。
Jan, 2020
本文提出了一种用于 Abstract Meaning Representation(AMR)的快速且准确的语义相似度计算方法 SMARAGD。使用机器翻译框架预测匹配或使用 Siamese CNN 直接预测 SMATCH 分数,同时在数据增强、AMR 图形匿名化方面进行了实验,成功地降低了误差。
Mar, 2022
本研究对两种 AMR 解析器进行了分析,将其与 Smatch 和其他 AMR 指标以及人类质量评估进行了比较,发现高 Smatch 分数不一定表示一致的解析质量,并且经常出现结构上小的、但语义上不可接受的错误,从而建议使用宏统计、其他指标和更多的人类分析来评估解析器的质量差异。
Oct, 2022
本研究介绍了一种新的文本生成评估指标 SMART,其以句子为匹配的基本单位,通过句子匹配功能软匹配候选句子和参考句子,并与源文档中的句子进行比较以进行评估。实验结果表明,SMART 指标在评估长文本时优于其他评估指标,在无神经网络时再现了基于模型的指标,同时对于长摘要的评估效果良好,且不偏向特定模型。
Aug, 2022
我们提出了一种名为 SEMBLEU 的强健指标来评估 AMR 解析准确性,并解决了搜索错误问题,该指标在局部和非局部的对应方面都得到了考虑,在句子和语料库级别的初步实验表明,SEMBLEU 与人类判断具有更高的一致性。
May, 2019
SAMScore 是基于高性能的 Segment Anything 模型(SAM)设计的一种通用的语义结构相似度指标,可用于评估图像翻译模型的可靠性,并应用于 19 项图像翻译任务中,发现其能够胜过所有竞争指标,是一种有价值的工具,有助于推动图像翻译领域的发展。
May, 2023
基于场景图生成和图匹配的语义评估指标 SeSS 可以测量图像语义级信息的差异,可用于视觉语义通信系统的评估。
Jun, 2024
通过介绍一种新的 AMR 相似度度量方法 rematch 和一个新的结构相似性评估标准 RARE,本文解决了目前现有的 AMR 度量方法效率低和难以捕捉语义相似度的问题,并在 STB-B 和 SICK-R 基准测试中,rematch 在结构相似性排名和语义相似性上分别位列第二和第一,比其他现有方法更高效。
Apr, 2024
本论文提出了一种基于图表达的文本相似性和差异性总结方法,使用 “spreading activation” 技术在两个相关文档中发现与主题语义相关的节点,并将两个文档的激活图匹配以获得相似和不同之处的图。
Dec, 1997
本文提出了一种新的半监督学习框架 SimMatch,该框架同时考虑语义相似性和实例相似性,并通过一致性正则化将这两种相似性转换为更可靠的匹配目标,实现了半监督学习任务的性能提升,特别是在 ImageNet 数据集上,1%和 10%标记示例的 Top-1 准确率均显着优于基线方法和以前的半监督学习框架。