Feb, 2024

BERT 如何讲莎士比亚英语？评估上下文语言模型中的历史偏见

PDF
TL;DR通过利用 BERT 的历史偏见分析方法，我们测量其对早期现代英语和现代英语的适应性，并使用 60 个掩模句子（20 个早期现代英语特定，20 个现代英语特定和 20 个通用语）和三种不同模型（BERT Base，MacBERTh 和 English HLM）进行初步实验，并根据两种语言变体之间的五分制量表对模型预测进行评分，并得出每个模型对早期现代英语和现代英语的适应性的加权得分。
historical biascontextual language modelsbertearly modern englishmodern english
发现论文，激发创造
  • HistBERT：用于历时词汇语义分析的预训练语言模型

    研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

    Feb, 2022

  • 减轻 BERT 中的语言依赖性民族偏见

    本文旨在研究 BERT 等大型语言模型中的偏见问题，特别是种族偏见问题的度量和消除方法，使用了 “Categorical Bias score” 度量方法和两种消除方法，包括多语言模型和两个单语言模型的上下文词对齐方法，并对英语，德语，西班牙语，韩语，土耳其语和中文等多种语言进行验证和比较。结果表明，这些方法可以有效减轻种族偏见问题，但效果取决于该语言的 NLP 资源量。同时，本论文还验证了这些方法适用于更多种语言，如阿拉伯语和希腊语。

    Sep, 2021

  • 拉丁 BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020

  • 分析多种语言 BERT 变体中存在的社会偏见

    本研究探讨了预训练语言模型在不同语言中所存在的偏见，提出了一种基于句子假设度量的模板方法来检测偏见，通过该方法分析了每个单语模型。研究发现，检测偏见的方法高度依赖于语言和文化，需要对每种语言和文化的独特表达方式进行深入了解。而与此相关的，我们假设非英语 BERT 模型中更高的社会偏见指数与其训练的用户生成内容有关。

    Nov, 2022

  • 揭示背景刻板印象：测量和减轻 BERT 的性别偏见

    研究比较了英语和德语中职业名称和性别指示目标词之间的关联性，并使用 Bert 模型来检测性别偏见，结果表明非常适合英语，但不适合具有丰富的形态和性别标记的德语等语言，本文强调探究偏见和减轻技术的重要性，特别是在大规模，多语言的语言模型中。

    Oct, 2020

  • BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

    本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

    Sep, 2021

  • BERT 中的性别偏见 -- 通过情感评级测量和分析在现实下游分类任务中的偏见

    本文分析 Bert 模型的性别偏见，并引入一种新的偏见度量，通过在训练管道中系统地改变元素来综合分析 BERT 的偏见，发现几乎所有条件下都存在重大的性别偏见，结果表明这些偏见源于公共 BERT 模型而非任务特定数据，强调了负责任的使用的重要性。

    Jun, 2023

  • 使用复合增强序列到序列模型进行莎士比亚化现代语言

    本篇论文探索一种使用端对端可训练神经模型和指针来自动将英语文本转换为莎士比亚英语的方法，通过预训练单词嵌入来解决数据并不充足的问题，并取得了 31 + 的 BLEU 分数，相较于最强基线提高了约 6 个点。

    Jul, 2017

  • 什么 [MASK]？理解特定语言的 BERT 模型

    本文研究了自然语言处理中的 BERT 模型及其多语言版本 (mBERT)，比较并探究了语言特定的 BERT 模型与 mBERT 在架构、数据领域和任务上的差异和共性，为读者提供了一个直观的综述和交互式展示网站。

    Mar, 2020

  • 经过 1 亿个单词的训练，BERT 依然保持着良好状态：BERT 遇见英国国家语料库

    本文探讨了小规模训练对于掩码语言模型的影响，使用英国国家语料库作为语料来源，进行了预训练和性能测试，并提出了优化后的 LTG-BERT 模型结构，为掩码语言模型的发展提供了新的思路。

    Mar, 2023