Jan, 2024

SWBT：基于相似度加权行为变换和不完全演示的机器人操作

PDF
TL;DR本文提出了一种名为 SWBT 的创新框架，可以从专家和不完美的示范中有效学习，用于机器人操作任务的离线模仿学习，实验证明该方法可以提取更好的特征，并提高所有任务的成功率。
imitation learningrobot manipulation taskssimilarity weighted behavior transformerexpert and imperfect demonstrationsoffline imitation learning
发现论文，激发创造
  • 显式配对词交互建模改善预训练 Transformer 在英语语义相似性任务中的性能

    本研究使用 BERT 模型，通过引入显式的有限制的单词成对交互机制，提高了语义相似度和答案句子选择等 4 项任务的性能。

    Nov, 2019

  • MetricBERT：通过自监督三元组训练学习文本表征

    本文介绍了一种基于 BERT 的模型 MetricBERT，该模型通过学习嵌入文本并同时遵循传统的掩码语言任务，以在定义明确的相似度度量下进行。我们主要关注于推荐中的学习相似性的下游任务，表明 MetricBERT 在超越其他最先进的替代方法并取得显著优势方面出色地表现。此外，我们还发布了一个由领域专家制作的视频游戏描述数据集以及测试集的相似性注释。

    Aug, 2022

  • 推进语义文本相似度建模：具有翻译 ReLU 和平滑 K2 损失的回归框架

    该论文介绍了一种创新的回归框架，并提出了两种简单而有效的损失函数：翻译 ReLU 和平滑的 K2 损失。实验分析表明，我们的方法在七个已建立的语义文本相似性基准中取得了令人信服的性能，尤其是在补充任务特定的训练数据的情况下。

    Jun, 2024

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 结合自适应增强语义信息的知识图谱补全方法

    该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。

    Feb, 2023

  • 应用迁移学习提升特定领域搜索体验：使用查询和问题的相似度

    本研究提出一种针对任何特定领域搜索引擎的框架来计算给定输入查询和一组预定义问题之间的相似度，使用 Siamese 网络和 LSTM 模型训练分类器来生成未归一化和归一化的相似度分数，并结合两种词向量和自定义模糊匹配分数等三种其他相似度得分计算的元分类器，在 Quora 问题对（QQP）数据集以及特定于金融领域的数据集上进行性能测试。

    Jan, 2021

  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019