该研究中，我们提出了一种使用情感描述图像的系统，设计了一种基于递归神经网络的情感图像标题自动生成模型，并通过多种自动和众包评估指标表明，我们的模型在图像字幕中具有较高的质量，并且生成的正向字幕具有适当的情感。

Oct, 2015

该研究通过预先训练的卷积神经网络提取图像特征，并将其与图片中的位置信息相结合，应用“以词为分类器”的模型研究语言和感知之间的联系，成果是一种能够在寻求表达的参考物边界盒子上表现出色的策略，并具有更简单和灵活的概念。

Oct, 2015

本研究引入一个新的预可训练的通用视觉语言表示方法——Visual-Linguistic BERT，它采用了简单而强大的Transformer模型作为骨干网络，并将视觉和语言嵌入特征扩展为输入。通过在大规模的Conceptual Captions数据集上进行文本预训练，VL-BERT可以适配大多数视觉语言下游任务，并在可视化常识推理、视觉问答、指称理解等下游任务中取得了不错的效果。

Aug, 2019

我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

Sep, 2020

介绍了 PnG BERT，它是一种新的神经 TTS 编码器模型，使用输入的音素和字素表示以及它们之间的单词级对齐来增强原始的 BERT 模型。该模型可以进行自我监督的大型文本语料库的预训练，并通过 TTS 任务进行微调。实验结果表明，使用 PnG BERT 作为编码器进行预训练的神经 TTS 模型产生的语音韵律更自然，发音更准确，比仅使用音素输入而不预训练的基线模型表现更好。主观音频偏好评估表明，听者对使用 PnG BERT 合成的语音和专业演讲者的真实录音之间没有显着的统计差异。

Mar, 2021

本文进行了一项针对语言模型BERT的情感分析任务的实验性研究，重点分析了如何更好地处理BERT输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现BERT在大多数情况下与TF-IDF相比取得了更高的预测性能，但TF-IDF在预测性能和计算成本之间达到了良好的平衡。

Jan, 2022

提出了一种使用预训练的视觉和语言编码器的图像字幕生成方法，该方法联合处理图像和从Datastore检索到的字幕，实现了检索增强的语言生成，该方法名为 EXTRA。实验结果表明，检索足够数量的字幕可以提高字幕生成的质量。

Feb, 2023

该研究使用BERT在诗歌领域的意大利句子中实验并发现DL模型对于非规范结构的敏感性较高，而使用subword units可以解决BERT中的一些单词的意思不明确的问题。

Jan, 2023

本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧（V-WSD）任务中的系统，使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外，我们将语言特定的编码器与应用于翻译文本的英语编码器进行比较。由于任务数据集中提供的上下文非常短，因此我们还使用语言模型生成的描述来增强这些上下文，从而显著提高了准确性。我们还描述并评估了使用图像生成和文本条件图像分割的其他 V-WSD 方法。总体而言，我们的官方提交结果将我们排名第 18，一些我们的非官方结果甚至比官方结果更好。

Jun, 2023

本文介绍了一种通过将Colorful Semantics（CS）与针对巴西葡萄牙语进行特别定制的基于Transformer的语言模型相结合来增强增强和替代沟通（AAC）系统的方法。我们引入了一种改进的BERT模型BERTptCS，它结合了CS框架来改善沟通卡的预测。主要目标是提高沟通卡预测的准确性和上下文相关性，这对于具有复杂沟通需求的个体在AAC系统中至关重要。我们将BERTptCS与没有CS集成的基线模型BERTptAAC进行了比较。我们的结果表明，BERTptCS在包括top-k准确性、平均倒数排名（MRR）和Entropy@K等各个指标上明显优于BERTptAAC。将CS集成到语言模型中可以提高预测准确性，并提供更直观和上下文理解用户输入的方式，从而促进更有效的沟通。

May, 2024