EMNLPSep, 2021

填补古代阿卡德语文本中的空白：一种掩码语言建模方法

PDF
TL;DR通过掩码语言建模任务，结合阿卡德语等，我们的研究在古代美索不达米亚文献的文字补充方面达到了最新水平，并在人类背景下进行了实验，证明了在辅助专家转录已灭绝语言的文本方面的适用性。
mesopotamiacuneiformmasked language modelingakkadianextinct languages
发现论文，激发创造
  • 让语言模型填充空白

    本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

    May, 2020

  • 使用循环神经网络恢复不完整的巴比伦文本

    通过对主要来源于古代美索不达米亚历史文化的粘土楔形文字进行网络模型建模，研究自动补全阿奇美尼德时期巴比伦的古代阿卡德语文本中的断裂的可能性。

    Mar, 2020

  • 迭代掩码填充：一种使用掩码语言建模的有效文本增强方法

    我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增强方法进行了比较，并实验结果表明我们提出的方法显著提高了性能，尤其是在主题分类数据集上。

    Jan, 2024

  • 塑造历史：三千年楔形文字片的高级机器学习技术分析和测定

    基于深度学习和变分自编码器方法，针对库内容丰富的超过 94,000 张楔形文字片的数据集，通过研究其轮廓形状作为关键指标，成功实现了古代文献的自动分类和时代定位，为历史学家和铭刻学家提供了更深入的洞察和解释工具。

    Jun, 2024

  • 基于遮蔽语言建模的可逆文本数据隐藏通用框架

    本文提出了一个基于掩蔽语言模型的通用框架，将秘密信息嵌入给定的覆盖文本中，嵌入的信息和原始覆盖文本可以从标记文本中完美地恢复。实验结果表明，所提出的方法具有良好的安全性和语义质量，可应用于许多领域，包括信息隐藏和自然语言处理。

    Jun, 2022

  • Mask-Predict: 条件掩码语言模型的并行解码

    本文介绍了一种利用掩码语言建模来训练非自回归机器翻译模型的方法，并通过对多个数据集的实验验证，证明该方法在翻译质量和速度方面都优于现有的非自回归翻译模型，并且接近于左到右的变换器模型。

    Apr, 2019

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 探索文本生成的屏蔽语言建模和因果语言建模

    这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

    May, 2024

  • 文本填充

    本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

    Jan, 2019

  • 面向时间语言模型的时间掩码技术

    本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。

    Oct, 2021