Jun, 2022

利用 BERT 嵌入在聋人和听力不佳用户会话记录中建模词语重要性

PDF
TL;DR通过对两种不同类型的字嵌入与手动注释的标签化字重要性得分进行相关分析，我们发现使用 BERT 生成的归一化上下文化字嵌入与标注的重要性得分之间的相关性更好，并提供了对训练字重要性模型的可行性的概念验证。
发现论文，激发创造
  • 使用语境化的嵌入向开放领域对话系统提供更好的自动评估

    本文探讨使用语境化词向量来计算更为准确的相关性评分，从而得出更好的评估指标，相较于仅训练静态嵌入的 RUBER 指标，新的指标表现更佳。

    Apr, 2019

  • 使用针对语义任务训练的模型评估词汇重要性

    本研究提出一种基于自然语言推理和释义识别的模型训练方法，通过解释预测模型的预测结果，得到每个输入标记的重要性分数，并可以分析其语法特征，可用于识别训练中没有明确标记的句子中的重要单词。

    May, 2023

  • 医疗背景下词嵌入的偏见量化

    本论文研究了嵌入方法在编码社会边缘群体时的偏见问题，以及这种偏见可能导致的临床任务性能下降。通过使用 MIMIC-III 医院数据集中的医学记录对深度嵌入模型 (BERT) 进行预训练并使用两种方法量化潜在不公正性，作者发现 BERT 表征训练出的分类器在性别、语言、族裔和保险等方面表现出明显的性能差异，以及通过对抗去偏差的不足。最后提出了这些问题的最佳实践。

    Mar, 2020

  • 层次还是表示空间：什么使 BERT 基于评估度量具有鲁棒性？

    本文论述了嵌入式度量用于关于文本生成的度量技术，在面对新的和嘈杂的领域时，它们的贡献和一些挑战，考虑到输入的噪声量和未知的记号。这篇文章重点研究 BERTScore，证明了使用预训练模型第一层的 字符级别嵌入 比标记级嵌入更加鲁棒。

    Sep, 2022

  • BERT 是否学习人类感知？通过词汇了解语言风格

    本研究通过探究人类感知和机器词汇重要性这两个视角，研究了文本的语言风格对词汇用法的影响，通过收集人类感知数据 Hummingbird 并参考目前常用的 BERT 语言风格分类器，比较了两者对于词汇标签的不同理解。研究表明，对于某些风格，如积极情感和愉悦，人类和机器的识别结果存在显著的重叠，但机器标记某些内容词非风格相关，而人们不能通过这些词汇准确感知对应的风格。

    Sep, 2021

  • 重新评估图像字幕自动评估指标

    本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

    Dec, 2016

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • 识别、可解释性和贝叶斯词嵌入

    本文提出了两种改进基于词嵌入的模型的方法，通过引入自动相关确定先验的贝叶斯词嵌入方法以及潜在变量模型锚定方法，实现对词嵌入矩阵的可解释性和可回归性，并应用于美国总统就职演讲中国际主义言论的转变以及美国外交政策制定者争论中的好战性增加相关性分析，得出总统就职演讲中的国际主义言论自 1945 年以来逐渐减少，而好战行动的增加与美国的敌对行动增加相关的结论。

    Apr, 2019

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021

  • 利用检索启发式方法进行 BERT 的诊断

    本文通过引入公理化数据集分析技术，研究了 BERT 模型在信息检索中的应用，并发现 BERT 模型在大规模语料库中并不遵循给定的检索启发式规则，但在性能上仍然优于传统的查询似然检索模型。

    Jan, 2022