May, 2024

增强增补和替代性沟通：卡片预测和多彩语义

HTML
PDF
TL;DR本文介绍了一种通过将Colorful Semantics（CS）与针对巴西葡萄牙语进行特别定制的基于Transformer的语言模型相结合来增强增强和替代沟通（AAC）系统的方法。我们引入了一种改进的BERT模型BERTptCS，它结合了CS框架来改善沟通卡的预测。主要目标是提高沟通卡预测的准确性和上下文相关性，这对于具有复杂沟通需求的个体在AAC系统中至关重要。我们将BERTptCS与没有CS集成的基线模型BERTptAAC进行了比较。我们的结果表明，BERTptCS在包括top-k准确性、平均倒数排名（MRR）和Entropy@K等各个指标上明显优于BERTptAAC。将CS集成到语言模型中可以提高预测准确性，并提供更直观和上下文理解用户输入的方式，从而促进更有效的沟通。
发现论文，激发创造
  • schuBERT: 优化BERT的元素

    基于Transformer的模型BERT在多项任务上取得最先进的结果，但由于参数数量巨大，计算代价昂贵。本文提出了一种基于算法优化的轻量级压缩方案，成功地减少了模型中的参数数量，且在保证精度的情况下相比BERT模型取得了更好的性能。

    May, 2020

  • 拉丁BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020

  • PnG BERT：基于音素和字素的增强型 BERT 用于神经语音合成

    介绍了 PnG BERT，它是一种新的神经 TTS 编码器模型，使用输入的音素和字素表示以及它们之间的单词级对齐来增强原始的 BERT 模型。该模型可以进行自我监督的大型文本语料库的预训练，并通过 TTS 任务进行微调。实验结果表明，使用 PnG BERT 作为编码器进行预训练的神经 TTS 模型产生的语音韵律更自然，发音更准确，比仅使用音素输入而不预训练的基线模型表现更好。主观音频偏好评估表明，听者对使用 PnG BERT 合成的语音和专业演讲者的真实录音之间没有显着的统计差异。

    Mar, 2021

  • BERT用于情感分析：预训练和微调的替代方案

    本文进行了一项针对语言模型BERT的情感分析任务的实验性研究，重点分析了如何更好地处理BERT输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现BERT在大多数情况下与TF-IDF相比取得了更高的预测性能，但TF-IDF在预测性能和计算成本之间达到了良好的平衡。

    Jan, 2022

  • BERT-ERC：基于 BERT 的微调已足以在会话情感识别中使用

    提议一种新方法，将语境信息和对话结构信息纳入“pretrained language models”（PLMs）的微调步骤，来代替先前的两步骤方法，以提高情感识别效果。在新方法下开发的BERT-ERC模型在四个数据集上比现有方法均有显著提升，并可适用于多种情境。

    Jan, 2023

  • BERTino:一种意大利DistilBERT模型

    本论文介绍了BERTino，这是一种特定于意大利语的DistilBERT模型，旨在提供第一种轻量级BERT架构替代方案。我们在意大利ISDT、意大利ParTUT、意大利WikiNER和多类别分类任务上评估了BERTino，获得了与BERTBASE相当的F1分数，并大幅提高训练和推断速度。

    Mar, 2023

  • UAlberta参加SemEval-2023任务1：多语言视觉词义消歧的上下文增强和翻译

    本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧（V-WSD）任务中的系统，使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外，我们将语言特定的编码器与应用于翻译文本的英语编码器进行比较。由于任务数据集中提供的上下文非常短，因此我们还使用语言模型生成的描述来增强这些上下文，从而显著提高了准确性。我们还描述并评估了使用图像生成和文本条件图像分割的其他 V-WSD 方法。总体而言，我们的官方提交结果将我们排名第 18，一些我们的非官方结果甚至比官方结果更好。

    Jun, 2023

  • 巴西葡萄牙增强与替代交流的预测创作

    使用BERTimbau模型进行图标预测，通过选择与图标相关的字幕、定义或同义词的表示方法，以提高复杂沟通需求用户(AAC系统用户)的预测准确性和降低困惑度。

    Aug, 2023

  • 面向语言的通信：文本到图像生成的语义编码和知识蒸馏

    将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在LSC中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

    Sep, 2023

  • TuPy-E：通过新数据集和广泛模型分析检测巴西葡萄牙语社交媒体中的仇恨言论

    社交媒体成为人类交流和表达的重要平台，然而，这些平台上仇恨言论的增加给个人和社区带来了重大风险。鉴于葡萄牙语的丰富词汇、复杂语法和地区差异，检测和解决仇恨言论尤其具有挑战性。为了解决这个问题，我们引入了TuPy-E，用于仇恨言论检测的最大葡萄牙语标注语料库。TuPy-E采用开源方法，促进了研究界的合作。我们使用BERT模型等先进技术进行了详细分析，为学术研究和实际应用做出了贡献。

    Dec, 2023