Oct, 2022

在紧张注释预算下分析文本表示：度量结构对齐

PDF
TL;DR通过引入评估文本数据表示优劣的度量标准，本研究探究了数据表示在紧急标注预算下对学习成果的影响。研究表明，数据表示依据任务需求的结构对齐程度越高，模型对标注预算的依赖性较低、对少样本数据的学习效果更优。
发现论文，激发创造
  • 通过测量任务对齐度分析文本表征

    通过任务对齐得分，本研究提出了一种方法来衡量文本表示对于文本分类的作用，实验证明这种方法能够解释给定的表示法在分类性能上表现出来的原因。

    May, 2023

  • 学习结构化文本表示

    本文提出一种可以在没有语篇分析器或额外注释的情况下，从数据中学习具有结构感知能力的文档表示的模型，该模型通过将可微分非项目句法分析算法嵌入神经模型，使用注意机制来结合结构偏置，从而产生具有解释性和意义的中间结构，并在不同任务和数据集上实验验证表明，该模型在文档建模任务中取得了最先进的结果。

    May, 2017

  • 优化文本表征以捕捉政党间的 (不) 相似性

    本研究旨在解决 fine-tuned 神经语言模型在特定应用中的文本表示优化问题，结合德国政党清单，通过使用基于文档结构启发式策略、最大化党内相似性及标准化等一系列措施，实现对政党相似性的可靠预测，无需人工注释。

    Oct, 2022

  • 文本对齐是一种用于大规模自然语言处理任务的高效统一模型

    提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。

    Jul, 2023

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 部分还是完整，这是个问题

    对于结构性学习任务，该论文提出了在同样的监督水平下，部分标注结构可能优于完全标注结构的普遍看法，并针对三种不同的结构性学习任务比较了两种标注方案。

    Jun, 2019

  • 视频文字弱监督对齐

    本文提出了一种方法来自动对齐视频和文本，并使用向量特征将其视为时间分配问题，最终得出整数解决方案，这在对齐视频与符号标签方面取得了显着的改进并在具有相关文本说明的挑战性数据集上进行了评估。

    May, 2015

  • 测量神经 Seq2Seq 语义解析器的对齐偏差

    本文研究了 seq2seq 模型是否能够处理简单和复杂的对齐，通过增加对齐注释来改进了 Geo 语义分析数据集，结果显示 seq2seq 模型在单调对齐的情况下表现显著更好。

    May, 2022

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 使用表示编码书进行多模态对齐

    该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。

    Feb, 2022