本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

Jun, 2019

Transformer Grammars是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。

Mar, 2022

探索和量化语义相关性对于表示语言至关重要，它对各种NLP任务具有重要意义，包括提供关于大型语言模型能力和性能的见解。本文介绍了SemRel，这是一个由母语为14种语言的本土人士进行注释的新的语义相关性数据集收集项目。每个实例都是一个句子对，并与表示两个句子之间语义文本相关性程度的分数相关联。分数是通过比较性注释框架获得的。我们描述了数据收集和注释过程、构建数据集时的相关挑战以及它们在NLP中的影响和实用性。我们还报告了对每种语言以及不同语言之间进行的实验。

Feb, 2024

使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型TranSem，并在SemEval-2024任务1中取得了不错的成绩。

Feb, 2024

我们介绍了第一个关于语义文本相关性（STR）的共享任务，探索了语义相关性这一更广泛的现象在14种语言中的表现。

Mar, 2024

本文提出了在 SemEval-2024 Task 1 中开发的系统：用于非洲和亚洲语言的语义文本相关性。该共享任务旨在测量句子对之间的语义文本相关性，重点关注一系列少数语言。我们在这项工作中提出了使用机器翻译进行数据增强来解决有限训练数据的低资源挑战。此外，我们对未标记任务数据进行任务自适应预训练，以弥合预训练和任务适应之间的差距。对于模型训练，我们研究了完全微调和基于适配器的微调，并采用适配器框架实现了有效的零次跨语言迁移。在共享任务中，我们取得了具有竞争力的结果：我们的系统在子任务 A（监督学习）和子任务 C（跨语言迁移）中排名最高。

Apr, 2024

本文介绍了我们为SemEval-2024任务1所开发的系统：语义文本相关性（STR），在Track C：跨语言下。该任务的目标是在没有直接监督（即零-shot跨语言转移）的情况下，检测给定目标语言中两个句子的语义相关性。为此，我们关注两个不同预训练语言模型：XLM-R和Furina上的不同源语言选择策略。我们通过以下实验：1）单源转移并基于类型学相似性选择源语言，2）用两个最近邻源语言扩充英语训练数据，以及3）多源转移，我们将所有训练语言与同一语系的语言进行比较。我们还研究了基于机器翻译的数据增强和脚本差异的影响。我们的提交在C8（Kinyarwanda）测试集中取得了第一名。

Apr, 2024

通过挖掘句子之间的深层联系，我们在马拉地语、印地语、西班牙语和英语中探索了语义文本相关性（STR），以在各种学习范式中利用不同的语言模型。结果表明，我们的方法很有效，并且希望在多语言STR领域中，特别是对于资源匮乏的语言，继续激发进一步的研究。

Apr, 2024

该篇研究论文通过使用BERT模型进行有监督和无监督的学习方法，在SemRel-2024任务中取得了显著的结果，包括在MSA中获得了0.49的Spearman相关系数的第一名，以及在摩洛哥语和阿尔及利亚语中分别获得了0.83和0.53的高分。

May, 2024

在本文中，我们提出了一种基于区域导向的Transformer（RGTR）用于时间句子锚定，通过对时刻查询进行多样化处理以消除重叠和冗余预测，并使用锚对作为时刻查询引入显式的区域导向，从而降低了优化困难并确保了最终预测结果的多样性，同时设计了一个IoU感知评分头来提高建议质量。在QVHighlights、Charades-STA和TACoS数据集上的广泛实验证明了RGTR的有效性，优于最先进的方法。

May, 2024