Jan, 2023

BERT 和深度模型压力测试：从意大利诗歌中预测单词

PDF
TL;DR该研究使用 BERT 在诗歌领域的意大利句子中实验并发现 DL 模型对于非规范结构的敏感性较高，而使用 subword units 可以解决 BERT 中的一些单词的意思不明确的问题。
bertitalian sentenceslinguistic complexitydl modelsubword units
发现论文，激发创造
  • ALBERTI，一种用于诗歌分析的多语种领域特定语言模型

    本文介绍了一个多种语言诗歌首款多语言预训练大型语言模型 ALBERTI，通过专门领域预训练，对来自 12 种语言的 1200 万诗句语料库进行训练，表现出色，达到了德语的最新水平

    Jul, 2023

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 神经诗歌：使用音节生成诗歌的学习

    本文探讨了基于神经语言模型和音节的诗歌生成问题，在 Dante Alighieri 的作品中进行了实验分析，结果表明生成的三行诗在句法、语法和诗歌风格上与 Dante 的真正作品相差不大。

    Aug, 2019

  • BERT 不是什么：从一套新的心理语言诊断中学到的教训，适用于语言模型

    本文介绍了一种从人类语言实验中提取的一系列诊断方法，旨在检验语言模型用于生成上下文预测的信息。将这些诊断方法应用于 BERT 模型的案例研究中，发现其可以区分涉及共享类别或角色逆转的好坏完成情况，但对具有挑战性的推理和基于角色的事件预测存在困难，并且特别是对否定性上下文影响的敏感性不足。

    Jul, 2019

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 神经诗歌翻译实证研究

    本文旨在探索机器翻译在诗歌翻译方面的应用，研究并比较了诗歌和非诗歌语料库大小、双语和多语言学习、以及使用语系特定模型和混合多语言模型的效果，得出多语言微调在诗歌翻译中具有重要性和优越性。

    Sep, 2021

  • Deep-speare：诗歌语言、韵律和韵脚的联合神经模型

    本文提出了一种联合架构，用于捕捉十四行诗的语言、韵律和节奏。我们使用众包和专家评估生成的诗歌的质量。研究表明专家评估对诗歌生成的重要性，并且未来的研究应该超越韵律、节奏，注重诗意语言。

    Jul, 2018

  • 拉丁 BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020

  • BigGreen 在 SemEval-2021 任务 1 中使用装配模型预测词汇复杂度

    本文介绍一个系统，该系统可以预测英语单词在给定上下文中的词汇复杂度。该系统基于 BERT，并通过特征工程模型与深度神经网络模型相结合，使用手工制作的特征来进行预测。通过 BERT 注意力图的可视化，我们可以发现 Transformers 模型在进行预测时所学习的一些特征。我们展示了如何将其用于多单词表达式子任务，同时，对于单一单词子任务，我们的集成预测表现也十分出色。

    Apr, 2021

  • 不连续性成分和 BERT：荷兰语案例研究

    本文基于一种轻度上下文有关的形式主义，旨在量化 BERT 在观察荷兰语等非上下文自由模式的评估制度中的语法能力。作者采用一系列基于语法的标准，并配合少量词汇，提供了许多语言现象，从而得出结论，探究了模型难以获取所需的语言依赖结构。

    Mar, 2022