【论文速递】ACL 2020 - 一种用于关系三元组抽取的级联二元标记框架

【论文原文】：A Novel Cascade Binary Tagging Framework for Relational Triple Extraction

【作者信息】：Zhepei Wei, Jianlin Su, Yue Wang, Yuan Tian, Yi Chang

论文：https://arxiv.org/pdf/1909.03227.pdf
代码：https://github.com/weizhepei/CasRel

博主关键词：关系抽取、级联二元标记框架、重叠三元组

推荐论文：TPLinker：http://t.csdn.cn/hIITO

摘要

从非结构化文本中抽取关系三元组对于大规模知识图构建至关重要。然而，现有的工作很少能解决重叠三元组问题，即同一句子中的多个关系三元组共享相同的实体。在这项工作中，我们引入了一个新的视角来重新审视关系三重抽取任务，并提出了一种新的级联二元标记框架（CASREL），该框架源自一个原则性问题公式。我们的新框架将关系建模为将句子中的subject映射到object的函数，而不是像以前的作品那样将关系视为离散标签，这自然会处理重叠问题。实验表明，即使其编码器模块使用随机初始化的BERT编码器，CASREL框架已经优于现有技术的方法，显示了新标记框架的效果。当采用预训练的BERT编码器时，它的性能进一步提高，在两个公共数据集NYT和WebNLG上，F1得分分别以17.5和30.2的绝对增益超过最强基线。对重叠三元组的不同场景的深入分析表明，该方法在所有这些场景中提供了一致的性能增益。

1、简介

关系三元组抽取的早期工作采用流水线方法（Zelenko等人，2003年；Zhou等人，2005年；Chan和Roth，2011年）。它首先识别句子中的所有实体，然后对每个实体对执行关系分类。由于早期阶段中的错误不能在后期阶段中被纠正，因此这种方法倾向于遭受错误传播问题。为了解决这个问题，随后的工作提出了实体和关系的联合学习，其中包括基于特征的模型（Yu和Lam，2010；Li和Ji，2014；Miwa和Sasaki，2014；Ren等人，2017），以及最近的基于神经网络的模型（Gupta等人，2016；Katiyar和Cardie，2017；Zheng等人，2014；Zeng等人，2018；Fu等人，2019）。通过用学习表示代替人工构建的特征，神经网络模型在三元组抽取任务中取得了相当大的成功。

然而，大多数现有方法不能有效地处理句子包含多个相互重叠的关系三元组的场景。图1说明了这些场景，其中三元组在一个句子中共享一个或两个实体。这种重叠的三元组问题直接挑战了传统的序列标记方案，该方案假设每个token只带有一个标签（Zheng等人，2017）。这也给关系分类方法带来了很大的困难，其中假设实体对最多持有一个关系（Miwa和Bansal，2016）。Zeng等人（2018）是最早考虑关系三元组抽取中重叠三元组问题的人之一。他们介绍了不同重叠模式的类别，如图1所示，并提出了一个具有复制机制的序列到序列（Seq2Seq）模型来抽取三元组。基于Seq2Seq模型，他们进一步研究了抽取顺序的影响（Zeng等人，2019），并通过强化学习获得了显著的改进。Fu等人（2019）还通过使用基于图卷积网络（GCN）的模型将文本建模为关系图，研究了重叠三元组问题。

尽管他们取得了成功，但以前关于抽取重叠三元组的工作仍有很多不足之处。具体来说，它们都将关系视为要分配给实体对的离散标签。这个公式使得关系分类成为一个困难的机器学习问题。首先，类别分布高度不平衡。在所有抽取的实体对中，大多数都没有形成有效的关系，产生了太多负样本。第二，当同一实体参与多个有效关系（重叠的三元组）时，分类器可能会被混淆。如果没有足够的训练实例，分类器很难判断实体参与了哪个关系。因此，抽取的三元组通常是不完整和不准确的。

在这项工作中，我们从三重层次的关系三重抽取权的原则公式开始。这产生了一个通用的算法框架，通过设计来处理重叠的三重问题。该框架的核心是一个全新的视角，即我们可以将关系建模为将subject映射到object的函数，而不是将关系视为实体对上的离散标签。更准确地说，我们学习关系特定标签fr(s)→of_r(s)→ ofr(s)→o，代替学习关系分类器f(s,o)→rf(s,o)→ rf(s,o)→r，其中每一个识别特定关系下给定subject的可能object；或不返回object，表示给定的subject和object不存在三元组。在这个框架下，三元组抽取是一个两步过程：首先我们识别句子中所有可能的subject；然后，对于每个subject，我们应用特定于关系的标记符来同时识别所有可能的关系和对应的object。

我们在端到端级联二元标记框架CASREL中实现了上述思想。它由基于BERT的编码器模块、subject标记模块和特定关系object标记模块组成。经验实验表明，即使在BERT编码器未经预训练的情况下，所提出的框架仍以较大幅度优于SOTA方法，表明了新框架本身的优越性。在采用预训练的BERT编码器后，该框架获得了更大的性能增益，表明了丰富的先验知识在三元组抽取任务中的重要性。

这项工作有以下主要贡献：

我们引入了一个新的视角来重新审视关系三元组抽取任务，并提出了一个原则性的问题公式，这意味着一个通过设计解决重叠三元组问题的通用算法框架。
我们将上述框架实例化为Transformer编码器之上的一个新的级联二元标记模型。这允许该模型将新颖标记框架的功能与预训练的大规模语言模型中的先验知识相结合。
在两个公共数据集上的广泛实验表明，所提出的框架显著优于最先进的方法，在两个数据集上分别获得17.5和30.2的F1分数绝对增益。详细分析表明，我们的模型在所有场景中都得到了一致的改进。