bertscore | BriefGPT - AI 论文速递

关键词bertscore

搜索结果 - 21

SeMaScore：一种用于自动语音识别任务的新评估指标
本研究提出了 SeMaScore，它使用基于片段的映射和评分算法生成，并作为自动语音识别任务的评估指标。SeMaScore 利用错误率和更稳健的相似性得分，实验证明我们算法的评分生成优于现有的 BERTscore。我们的实验结果显示 SeM
PDF6 months ago
基于行动项的长会议记录摘要
本文介绍了一种新颖且有效的自动生成会议摘要的方法，采用递归生成摘要和并行应用行动项提取算法来生成行动项驱动的抽象会议摘要；同时引入了三种划分长篇会议记录成主题部分的方法，以提高算法的时间效率，并解决大语言模型遗忘长期依赖的问题。实验结果在
PDF6 months ago
ACL在抽象摘要中平衡词汇和语义质量
本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。
PDFa year ago
GlobalNER：将非局部信息结合到命名实体识别中
本研究使用基于深度神经网络的查询生成方法和基于 BERTScore 的提及感知的重新排序体系结构，以进一步提高命名实体识别的性能。最后，在 WNUT17 数据集上实现了 61.56 的微 F1 得分。
PDFa year ago
KG-BERTScore：将知识图谱融入 BERTScore 用于无参考机器翻译评价
本文研究了机器翻译自动评估方法，并将多语言知识图谱融入 BERTScore 之中，提出了一种名为 KG-BERTScore 的评估指标，通过线性组合 BERTScore 和双语命名实体匹配的结果来评估无需参考译文的机器翻译质量，并在实验中证
PDFa year ago
EMNLP多模态抽象摘要中事实性的评估与提高
我们提出了 CLIPBERTScore，一种结合 CLIPScore 和 BERTScore 的加权组合度量方法，用于多模式事实性摘要的评估，并在多个数据集上证明了其效果。
PDF2 years ago
EMNLPBERTScore 不公平：基于语言模型的文本生成度量中的社会偏见
本文首次对基于预训练语言模型的度量方法中的社会偏见进行了系统研究，并发现相比传统度量方法，最受欢迎的基于预训练语言模型的度量方法在种族、性别、宗教、外貌、年龄和社会经济地位等 6 个敏感属性上显示出显著的社会偏向。此外，研究发现选择度量方法
PDF2 years ago
令人尴尬的简单文档级机器翻译度量方法：如何将任何预训练度量转化为文档级度量
通过在文档级别引入上下文内容，可以扩展当前基于句子级别的机器翻译度量，提高翻译质量和准确性。
PDF2 years ago
使用 BERTScore 评估 ASR 模型在失语言上的质量
该研究调查了使用 BERTScore 作为语音识别模型质量评估的度量标准。BERTScore 与 WER 相比，在计算错误类型和评估方面更符合人工评定的标准。因此，BERTScore 可以在实际应用中辅助 WER，特别是在无障碍应用中，即使
PDF2 years ago
COLING层次还是表示空间：什么使 BERT 基于评估度量具有鲁棒性？
本文论述了嵌入式度量用于关于文本生成的度量技术，在面对新的和嘈杂的领域时，它们的贡献和一些挑战，考虑到输入的噪声量和未知的记号。这篇文章重点研究 BERTScore，证明了使用预训练模型第一层的字符级别嵌入比标记级嵌入更加鲁棒。
PDF2 years ago
针对低资源语言的不匹配感知无监督翻译质量评估
本文提出了一种简单的无监督翻译质量评估方法 XLMRScore，该方法基于使用 XLM-RoBERTa 模型计算的 BertScore，并讨论了使用此方法时出现的问题。接着，我们提出两种方法来缓解问题，并将所提出的方法用于四个 WMT21
PDF2 years ago
ACL对于高频词嵌入相似度度量中余弦相似度的问题
使用余弦相似度可对于 NLP 的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模，但是我们发现使用 BERT 解析的余弦相似度在估算词语相似度方面存在高低频词的差异，在控制多义性和其他因素后，高频词与同一词语的其他实例或其他上下文中的其
PDF2 years ago
基于问题回答的摘要评估度量的答案验证方法基准测试
本文研究基于问答的摘要评估方法，要求自动决定 QA 模型的预测是否正确，即答案验证。通过比较词汇重叠和两种更复杂的文本比较方法，BERTScore 和 LERC，我们发现在某些场景下 LERC 的效果优于其他方法，但在其他场景下表现与词汇重
PDF2 years ago
基于分类和生成方法的阿拉伯语句子简化
本文尝试构建一种现代标准阿拉伯语 (MSA) 句子级简化系统，使用两种方法进行简化：基于分类的方法和生成式方法 (mT5)，并使用 BERTScore 评估了它们的有效性。
PDF2 years ago
面向自然语言生成的可解释评估度量
本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。
PDF2 years ago
一种计算 BERTScore 的新方法，用于自动评估翻译质量
该研究旨在利用 BERTScore 度量英俄翻译中句子级别的翻译质量，并通过利用单语 BERT 模型和基于锚定标记的正交变换对齐单语言嵌入来改进模型性能，结果表明改进的方法可以提高模型预测与人类判断的相关性。
PDF2 years ago
COLING从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练
通过引入 BERTScore 提高证据质量，构建 retrieval-generation 训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。
PDF2 years ago
ACL语言模型增强相关性得分
本文介绍了一种新的面向语言生成的评估标准，即 Language Model Augmented Relevance Score（MARS）。该标准引入了强化学习引导的预训练语言模型来创建上下文感知的评估参考，并将之用于对生成文本进行评分。与
PDF3 years ago
ACLBERTTune: 使用 BERTScore 微调神经机器翻译
本文提出使用基于 BERTScore 评估指标的新型训练目标对神经机器翻译模型进行微调，以克服在训练过程中出现的过拟合偏见问题；作者提出三种生成软预测的方法，可使网络保持端到端的完全可微性，实验表明在四种不同的语言对上，微调目前具有一个强基
PDF3 years ago
使用重采样方法进行摘要评估度量的统计分析
本文介绍了利用自主重采样方法来计算置信区间和运行假设检验的方法，并对几个自动评估度量进行了分析，发现自动评估度量的可靠性存在高度不确定性
PDF3 years ago