Wwt-blog

学习 生活 分享

金融评测任务

CCKS2019

任务描述 本文是对CCKS的一个评测任务进行介绍,并介绍了其中一个baseline系统。 “事件识别”是舆情监控领域和金融领域的重要任务之一,“事件”在金融领域是投资分析,资产管理的重要决策参考。“事件识别”的复杂性在于事件类型和事件主体的判断,比如“公司A产品出现添加剂,其下属子公司B和公司C遭到了调查”,对于“产品出现问题”事件类型,该句中事件主体是“公司A”,而不是“公司B...

Word2Vec之Skip-Gram模型--下

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》,部分内容稍作修改,供学习参考 第一部分我们介绍了Skip-gram的输入层、隐层和输出层。在本文中,继续深入分析如何在Skip-gram模型上进行高效的训练。 在第一部分中,我们会发现Word2vec模型是一个超级大的神经网络(权重矩阵规模非常大)。 举个例子,我们拥有10000个单...

一个模型解决实体、触发词和论元抽取任务

one for All

先前的事件抽取工作中假设实体已经人工标注好,主要集中在触发词和论元抽取两个任务中。实体信息通常由命名实体工具抽取出往往是不现实的,这会导致错误信息传递到触发词抽取和论元抽取任务中。只有少数工作将实体识别、触发词抽取和论元抽取三个任务联合起来,只使用一个模型抽取出三者的信息。但是,上述工作采用离散的特征工程表示单任务和各任务之间交互关系的上下文信息具有局限性。因此,在本文中我们提出一个通过共享...

Word2Vec之Skip-Gram模型--上

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》,部分内容稍作修改,供学习参考 本文介绍了Word2Vec中的skip-gram神经网络模型。本文的意图是跳过常规的word2vec介绍,对Word2vec进行高度抽象概括,深入了解更多细节。 模型 word2vec模型中,主要有skip-gram和CBOW两种模型,从直观上理解,sk...

自然语言处理综述(一)

nlp overview

本文摘自文章《万字长文概述NLP中的深度学习技术》,部分内容稍作修改,供学习参考 简介 自然语言处理(NLP)是指对人类语言进行自动分析和表示的计算技术,这种技术由一系列理论驱动。NLP研究 从打孔纸带和批处理的时代就开始发展,那时候分析一个句子需要多达7分钟的时间。到了现在谷歌等的时代,数百万网页可以在不到一秒钟内处理完成。NLP辅助计算机执行了大量自然语言相关的任务,如句子结...

基于监督和层次的注意力机制模型

层次注意力

文本分类是一项基础的NLP任务,在主题分类、情感分析、垃圾邮件检测等应用上有广泛的应用。目标是给每篇文档分配一个类别标签。本文针对文本分类任务提出了一个层次化attention机制模型Hierarchical Attention Networks for Document Classification(HAN),有两个显著的特点: 采用“词-句子-文章”的层次化结构来表示一篇文本。 ...

基于注意力的图卷积联合事件抽取

图卷积

事件抽取是自然语言处理中一个重要任务。在现实世界中,一个句子中会经常出现多个事件,抽取单一事件要比抽取多个事件要简单的多。常见的事件抽取方法是通过对句子顺序建模建立起多个事件之间的关联关系,这种方法在捕获长远距离的依赖关系会受到非常大的影响。本文是发表在EMNLP 2018上的一篇关于事件抽取的联合模型论文,主要介绍了一种引入句法分析信息和图卷积网络来编码图信息,同时抽取触发词和论元。在AC...

不要怂,就是GAN

GAN学习初探

本文摘自文章《到底什么是生成式对抗网络GAN?》,部分内容稍作修改。 首先,先介绍一下生成模型(generative model),它在机器学习的历史上一直占有举足轻重的地位。当我们拥有大量的数据,例如图像、语音、文本等,如果生成模型可以帮助我们模拟这些高维数据的分布,那么对很多应用将大有裨益。 针对数据量缺乏的场景,生成模型则可以帮助生成数据,提高数据数量,从而利用半监督学习提...

NLP的游戏规则从此改写

语言模型

本文摘自夕小瑶专栏文章《NLP的游戏规则从此改写?从word2vec,ELMo和BERT》,部分内容稍作修改。 还记得不久之前的机器阅读理解领域,微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类,百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂,似乎“如何设计出一个更work的task-specific的网络”变成了NLP领...

玩转Keras之seq2seq自动生成标题

seq2seq

本文摘自博客《玩转Keras之seq2seq自动生成标题》,部分内容稍作修改 seq2seq是NLP与深度学习结合的经典之作,可以做的事情非常多,我挑选的是比较简单的根据文章内容生成标题(中文),也可以理解为自动摘要的一种。 seq2seq简介 所谓seq2seq,就是指一般的序列到序列的转换任务,比如机器翻译、自动文摘等等,这种任务的特点是输入序列和输出序列是不对齐的,如果对...