Wuwt-blog

学习 生活 分享

基于门控多层次注意力机制的偏置标注网络

门控注意力

《Collective Event Detection via a Hierarchical and Bias Tagging Networks with Gated Multi-level Attention Mechanisms》这篇18年的emnlp论文主要从句子级和文档级的注意力(attention)机制来解决事件抽取领域中标签相关性的问题。通过这篇论文主要是学习其中不同级别的注意力...

BERT相关总结

BERT

本文参考自关于BERT的若干问题整理记录,部分内容有删改。 BERT自从2018年横空出世后,有关BERT的论文和比赛就不断刷屏。之前写了一篇博文的介绍了BERT的来世今生,转眼就来到了2019年底,因此这一篇博文就相当于一个BERT的年终总结。废话不多说,我们直奔主题。 基本原理 BERT来自谷歌论文Pre-training of Deep Bidirectional Tra...

文本匹配模型

text similarity

CCL“中国法研杯”相似案例匹配评测竞赛主要是针对多篇法律文本进行相似度的计算和判断。具体地,对于每份文书提供文本的标题以及描述事实,需要从两篇候选文集中找到与询问文书更为相似的一篇文书。 从本质上来看,这与二元组匹配任务类似,二元组匹配任务是输入一个元组$<X,Y>$,判断$X$和$Y$是否为同一类样本。代表网络有Siamase network,ESIM,InferSent。...

Git使用基础教程

Git Basics

转载自Git教程 ,部分篇幅有增删,作者:廖雪峰 对于一个编程人员来说,经常涉及到代码管理,这就难免与gi t打交道了。关于git的教程,网上google一下,会出现一堆相关的文章和教程,但令人失望的是,这些教程不是晦涩难懂,就是就是简单的一笔带过。或者,只支离破碎地介绍几个git命令。总之,初学者很难找到一个由浅入深,学完后对git有个大概了解,可以立即上手的教程。 因此,本文...

玩转seq2seq之生成标题

seq2seq

转载自玩转Keras之seq2seq自动生成标题 ,作者:苏剑林 自入坑nlp以来,搞了很久的分类和序列标注任务,我都还没有真正跑过NLP与深度学习结合的经典之作–seq2seq。这几天一直都这研究这个任务,决定通过学习代码并实践一番seq2seq。 seq2seq可以做的事情非常多,我选择的是比较简单的根据文章内容生成标题 $(中文\mid英文)$,也可以理解为自动摘要的一种。...

使用Tensorflow实现文本分类模型

文本分类模型

在很早的一篇博文中在Keras模型中使用预训练的词向量,我们介绍了如何使用Keras实现一个卷积神经网络的文本分类模型。基于CNN的文本分类模型简直是新手学习一个深度学习框架的绝佳练手项目,所以,这篇博文我们将介绍一个基于tensorflow的卷积神经网络的文本分类模型,记录一下自己在学习tensorflow时候的爬坑过程。 模型简介 模型架构如图所示: 从左向右看,第一层是词嵌入...

基于对抗训练的远程弱监督事件抽取

Adversarial Training for Weakly Supervised Event Detection

本文主要关注将弱监督方法应用到事件抽取(Event Detection)中,并利用对抗训练,来解决人工标注耗时耗力的问题,通过自动标注数据获得了显著的效果。以往的方法通常依赖于复杂的预定义规则和知识库中的现有示例来标注信息,该方法容易遭受覆盖面不广、主题偏差和数据噪声的影响。为了解决上述问题,我们构建了一个大规模且覆盖面较广的相关事件数据集,然后应用对抗训练机制来识别候选集的信息实例,同时过...

金融事件评测任务

事件抽取

任务描述 本文是对CCKS的一个评测任务进行介绍,并介绍了其中一个baseline系统。 “事件识别”是舆情监控领域和金融领域的重要任务之一,“事件”在金融领域是投资分析,资产管理的重要决策参考。“事件识别”的复杂性在于事件类型和事件主体的判断,比如“公司A产品出现添加剂,其下属子公司B和公司C遭到了调查”,对于“产品出现问题”事件类型,该句中事件主体是“公司A”,而不是“公司B...

Word2Vec之Skip-Gram模型--下

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》,部分内容稍作修改,供学习参考 第一部分我们介绍了Skip-gram的输入层、隐层和输出层。在本文中,继续深入分析如何在Skip-gram模型上进行高效的训练。 在第一部分中,我们会发现Word2vec模型是一个超级大的神经网络(权重矩阵规模非常大)。 举个例子,我们拥有10000个单...

一个模型解决实体、触发词和论元抽取任务

one for All

先前的事件抽取工作中假设实体已经人工标注好,主要集中在触发词和论元抽取两个任务中。实体信息通常由命名实体工具抽取出往往是不现实的,这会导致错误信息传递到触发词抽取和论元抽取任务中。只有少数工作将实体识别、触发词抽取和论元抽取三个任务联合起来,只使用一个模型抽取出三者的信息。但是,上述工作采用离散的特征工程表示单任务和各任务之间交互关系的上下文信息具有局限性。因此,在本文中我们提出一个通过共享...