May, 2023

StrAE：使用显式结构对预训练嵌入进行自编码

PDF
TL;DR通过开发 StrAE —— 一个自动编码框架来探索 NLP 中显式结构对于表征学习的实用性，可以在无监督的方式下利用句子结构准确地学习多层节点嵌入，并通过一系列内在和外在任务来评估所学习的嵌入。
representation learningnlpautoencodingstructurenode embeddings
发现论文，激发创造
  • Self-StrAE 在 SemEval-2024 任务 1 中：用更少地让自我结构化自编码器学习更多

    该论文提出了两个简单的改进措施，一是将重构作为辅助目标包含在词汇中以提高表示质量，二是演示了增加独立通道数量可显著提高嵌入质量，同时减少参数数量，甚至将非嵌入参数总数减少到七的极限。我们的系统可以从头开始使用仅为 1000 万个输入数据进行预训练，并且在英语、西班牙语和南非荷兰语之间都表现出良好的效果。

    Apr, 2024

  • 自编码器的结构化

    本文提出了一种称为 Structuring AutoEncoders 的神经网络，其可以使用弱监督形成结构化的低维空间，从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明，结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。

    Aug, 2019

  • 无监督句子嵌入的自适应对比学习重建

    我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

    Feb, 2024

  • 学习结构感知的深度谱嵌入

    本研究提出了一个深度学习算法，通过结构感知谱嵌入和结构保持，编码输入数据的子空间结构和形状信息，并基于自表达学习和注意力机制，能够更好地处理非线性数据集的聚类问题，并在六个真实数据集上取得了优异的聚类性能和更好的泛化能力。

    May, 2023

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 无监督文本风格转移的鲁棒和语义组织潜在表示

    该研究提出了一种基于 EPAAEs 的方法，通过在连续嵌入空间中添加一个可调整噪音组件来完善扰动模型，从而更好地聚类风格相似的句子，且在文本风格转移任务上表现优异，同时还将文本风格转移任务扩展到 NLI 数据集，并证明了该方法最适合学习具有更复杂风格的数据集。

    May, 2022

  • 自我监督序列学习的符号编码

    通过最小化重建损失以及监督损失，符号自编码器（ΣAE）利用大量非平行数据和有限的平行数据，通过离散瓶颈层将两个生成模型连接起来，从而在传递任务中显着提高性能，并为弱监督学习场景提供了有希望的解决方案。

    Feb, 2024

  • 带有语法和语义结构的图形变换网络用于事件参数提取

    本文提出了一种基于图变换网络（GTNs）利用句子的句法和语义结构来学习更有效的句子结构的新模型，并引入了基于信息瓶颈的新归纳偏差来提高 EAE 模型的泛化性能，实验结果表明该模型在标准数据集上具有最先进的 EAE 性能。

    Oct, 2020

  • 基于语法的变分自编码器用于文本生成

    本研究提出了一种语法融入变分自编码器（SIVAE），通过集成句法树来提高生成句子的语法，在生成模型上有独立的潜变量空间，可以用于句法控制的句子生成和无监督的改写任务。

    Jun, 2019

  • 掩码自编码器作为预训练句子表示的统一学习者

    该研究实现了扩展 MAE 预训练策略 RetroMAE 的统一框架以支持多样化的句子表示任务，并证明其在零样本检索和其他下游任务中的有效性，为未来的句子表示预训练的设计提供了实证建议。

    Jul, 2022