快报 | 复旦DISC四篇论文被ACL 2021和IJCAI-21录用

以往的研究通常使用基于投票记录的理想点模型来估计议员的意识形态。理想点模型将议员和议题表示在同一个潜在空间，在建模议员投票行为上取得了不错的效果。然而，这种方法无法捕捉到议员对于新问题更具体的态度，也不能预测没有历史投票记录的新议员的投票立场。为了解决这两个问题，我们尝试将议员的投票行为和其在Twitter上的公开言论结合起来联合学习议员。我们提出了一个新任务，即hashtag使用预测任务，来建模议员在Twitter上的意识形态。具体而言，我们构建了一个立法场景的异质图，利用RGCN来更新各节点的表示，并将点名投票预测、hashtag使用预测和Twitter社交关系网络结合在一起进行联合训练。我们使用了VoteView提供的议题投票数据，并构建了议员的推文数据集进行实验。实验结果表明，模型对点名投票预测任务有显著的改进；后续分析进一步表明，模型所学的议员表示能够体现出议员间更细微的差别。

在交互式论辩的研究领域中，一个重要的任务为互动论点对识别(Interactive Argument Pair Identification)，即自动识别出两句产生逻辑/语义互动关系的论点对。现有的研究将其视为一个句子匹配的问题，并在很大程度上依赖于文本信息来计算相似度。然而，观点之间的互动通常涉及到背景知识和常识知识，因而需要知识的推理，这是超越文本信息的。在这篇工作中，我们提出利用外部知识来加强互动论点对的识别。我们从网上论坛ChangeMyView中的话题讨论帖中构造了论辩知识图谱，并采用相关方法对图谱的质量进行提升。在所得到的论辩图谱中，论点之间的交互可被表示为连接双方所提到概念的路径。在实际操作层面，我们利用图卷积网络（GCN）来学习知识图中的概念表示，并使用基于Transformer编码器的网络来学习路径的表示。最后，我们利用基于注意力机制的信息对齐网络来捕获概念信息（包含实体级和路径级两个层面）与文本信息的交互作用。实验结果表明，该模型在任务数据集中达到了最先进的性能。进一步的实验分析证明了该模型通过知识图中路径进行知识推理的有效性与合理性。

本文于向大规模预训练语言模型（比如说RoBERTa、BERT等）中融入知识。现有工作在融入知识的过程中，需要更新模型原有的参数。然而，当有多种知识被注入时，原有的知识会被冲刷遗忘掉。为了解决相应的问题，本文提出了K-Adapter，一种灵活、简便向预训练模型中注入知识的框架。该框架有以下亮点：① 保持原有预训练模型参数不变，使用不同的知识特定"插件"（adapter）学习不同类别的知识，从而缓解“知识遗忘”问题。且由于不同插件间没有信息流，所以插件可以用分布式的方式进行高效地训练；② 支持连续知识学习，即融入新的知识保证原有的知识不受影响。本文采用RoBERTa作为backone，主要融入了两类知识，包括了（1）事实类知识（factual knowledge）—— 来源于Wikipedia和Wikidata之间自动对齐的文本-三元组对（2）语言类知识（linguistic knowledge）—— 来源于文本中实体之间的依存关系。本文提出的模型在三种知识驱动的任务，包括了命名实体识别、关系分类、问答等任务上取得了显著的效果。进一步的分析表明（如probing实验）证明了K-Adapter可以捕捉到更为丰富的知识。