Aug, 2023

利用基于 Transformer 的人工智能技术检测奇幻文学中的咒语

PDF
TL;DR我们的研究使用 BERT 来识别哈利波特系列小说中基于上下文的魔法咒语。通过使用不同的数据集和训练方法对 BERT 进行微调，我们展示了魔法咒语的上下文可以被识别出来，而模型中的序列长度对于上下文识别起到了重要作用。我们的模型应用展示了有希望的结果，并值得在后续研究中深入探讨。
发现论文，激发创造
  • 哈利・波特与自然语言动作预测挑战

    本文讨论了利用文本描述来预测活动的挑战，以哈利・波特系列小说中的咒语作为抽象活动的关键词，并使用 LSTM 方法来预测下一个咒语。

    May, 2019

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 在长上下文大语言模型中推进 Transformer 架构的综合调查

    该研究论文主要针对基于 Transformer 的大型语言模型的长上下文能力进行了模型架构的改进，并提供了与之相关的评估需求以及未来研究的挑战和潜在方向。

    Nov, 2023

  • 基于 Transformer 模型（BERT，ALBERT 和 RoBERTa）在假新闻检测中的性能分析

    该研究探索了 transformer 模型，发现 ALBERT 在检测印尼语假新闻方面表现最佳

    Aug, 2023

  • 基于 Transformer 的语言模型

    本篇论文针对 Transformer 架构不足以高效融合语言建模所需的单词级序列上下文，提出了在保持计算效率的同时通过添加额外的 LSTM 层能够更好地捕捉顺序上下文的有效 Transformer 架构，其中 Coordinate Architecture Search（CAS）通过迭代模型的精炼来找到一个有效的架构，实验结果表明 CAS 在所有问题上的 perplexities 达到了 20.42 ~ 34.11，即比最先进的 LSTM 提高了 12.0 perplexity 单位。

    Apr, 2019

  • SemEval-2022 任务 11 中的多语言人士：基于 Transformer 的复杂 NER 架构

    本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

    Apr, 2022

  • 为人工智能和法律领域引入基于 Transformer 的语言模型的秩序

    这篇文章给出了 TLM 在法律领域中基于 AI 的问题和任务的系统概述，旨在突出此领域的研究进展，从而理解 Transformer 模型在支持法律流程中的作用、当前的限制和进一步的研究发展机会。

    Aug, 2023

  • 任务导向语义解析中的 Transformer 诊断

    本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。

    May, 2021

  • 大型语言模型作为虚拟导师的使用综述

    利用 Transformer 架构的大型语言模型在教育领域引起了广泛关注，主要应用包括生成和评估教育材料、自动问题生成等，其中 GTP-3 和 BERT 是最受欢迎的模型。

    May, 2024