Wuwt-blog

学习 生活 分享

玩转seq2seq之生成标题

seq2seq

转载自玩转Keras之seq2seq自动生成标题 ,作者：苏剑林 自入坑nlp以来，搞了很久的分类和序列标注任务，我都还没有真正跑过NLP与深度学习结合的经典之作–seq2seq。这几天一直都这研究这个任务，决定通过学习代码并实践一番seq2seq。 seq2seq可以做的事情非常多，我选择的是比较简单的根据文章内容生成标题 $(中文\mid英文)$，也可以理解为自动摘要的一种。...

Posted by Wwt on October 13, 2019

使用Tensorflow实现文本分类模型

文本分类模型

在很早的一篇博文中在Keras模型中使用预训练的词向量，我们介绍了如何使用Keras实现一个卷积神经网络的文本分类模型。基于CNN的文本分类模型简直是新手学习一个深度学习框架的绝佳练手项目，所以，这篇博文我们将介绍一个基于tensorflow的卷积神经网络的文本分类模型，记录一下自己在学习tensorflow时候的爬坑过程。 模型简介 模型架构如图所示： 从左向右看，第一层是词嵌入...

Posted by Wwt on August 24, 2019

基于对抗训练的远程弱监督事件抽取

Adversarial Training for Weakly Supervised Event Detection

本文主要关注将弱监督方法应用到事件抽取（Event Detection）中，并利用对抗训练，来解决人工标注耗时耗力的问题，通过自动标注数据获得了显著的效果。以往的方法通常依赖于复杂的预定义规则和知识库中的现有示例来标注信息，该方法容易遭受覆盖面不广、主题偏差和数据噪声的影响。为了解决上述问题，我们构建了一个大规模且覆盖面较广的相关事件数据集，然后应用对抗训练机制来识别候选集的信息实例，同时过...

Posted by Wwt on August 5, 2019

金融评测任务

CCKS2019

任务描述 本文是对CCKS的一个评测任务进行介绍,并介绍了其中一个baseline系统。 “事件识别”是舆情监控领域和金融领域的重要任务之一，“事件”在金融领域是投资分析，资产管理的重要决策参考。“事件识别”的复杂性在于事件类型和事件主体的判断，比如“公司A产品出现添加剂，其下属子公司B和公司C遭到了调查”，对于“产品出现问题”事件类型，该句中事件主体是“公司A”，而不是“公司B...

Posted by Wwt on May 22, 2019

Word2Vec之Skip-Gram模型--下

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》，部分内容稍作修改，供学习参考 第一部分我们介绍了Skip-gram的输入层、隐层和输出层。在本文中，继续深入分析如何在Skip-gram模型上进行高效的训练。 在第一部分中，我们会发现Word2vec模型是一个超级大的神经网络（权重矩阵规模非常大）。 举个例子，我们拥有10000个单...

Posted by Wwt on April 15, 2019

一个模型解决实体、触发词和论元抽取任务

one for All

先前的事件抽取工作中假设实体已经人工标注好，主要集中在触发词和论元抽取两个任务中。实体信息通常由命名实体工具抽取出往往是不现实的，这会导致错误信息传递到触发词抽取和论元抽取任务中。只有少数工作将实体识别、触发词抽取和论元抽取三个任务联合起来，只使用一个模型抽取出三者的信息。但是，上述工作采用离散的特征工程表示单任务和各任务之间交互关系的上下文信息具有局限性。因此，在本文中我们提出一个通过共享...

Posted by Wwt on April 10, 2019

Word2Vec之Skip-Gram模型--上

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》，部分内容稍作修改，供学习参考 本文介绍了Word2Vec中的skip-gram神经网络模型。本文的意图是跳过常规的word2vec介绍，对Word2vec进行高度抽象概括，深入了解更多细节。 模型 word2vec模型中，主要有skip-gram和CBOW两种模型，从直观上理解，sk...

Posted by Wwt on March 22, 2019

自然语言处理综述(一)

nlp overview

本文摘自文章《万字长文概述NLP中的深度学习技术》，部分内容稍作修改，供学习参考 简介 自然语言处理（NLP）是指对人类语言进行自动分析和表示的计算技术，这种技术由一系列理论驱动。NLP研究 从打孔纸带和批处理的时代就开始发展，那时候分析一个句子需要多达7分钟的时间。到了现在谷歌等的时代，数百万网页可以在不到一秒钟内处理完成。NLP辅助计算机执行了大量自然语言相关的任务，如句子结...

Posted by Wwt on March 5, 2019

基于监督和层次的注意力机制模型

层次注意力

文本分类是一项基础的NLP任务，在主题分类、情感分析、垃圾邮件检测等应用上有广泛的应用。目标是给每篇文档分配一个类别标签。本文针对文本分类任务提出了一个层次化attention机制模型Hierarchical Attention Networks for Document Classification(HAN)，有两个显著的特点： 采用“词-句子-文章”的层次化结构来表示一篇文本。 ...

Posted by Wwt on January 7, 2019

基于注意力的图卷积联合事件抽取

图卷积

事件抽取是自然语言处理中一个重要任务。在现实世界中，一个句子中会经常出现多个事件，抽取单一事件要比抽取多个事件要简单的多。常见的事件抽取方法是通过对句子顺序建模建立起多个事件之间的关联关系，这种方法在捕获长远距离的依赖关系会受到非常大的影响。本文是发表在EMNLP 2018上的一篇关于事件抽取的联合模型论文，主要介绍了一种引入句法分析信息和图卷积网络来编码图信息，同时抽取触发词和论元。在AC...

Posted by Wwt on December 19, 2018

热门标签
机器学习 深度学习 卷积神经网络 语言模型 循环神经网络 Keras 神经网络框架 概率 信息论 集成学习 seq2seq 事件抽取 Word2Vec Skip-Gram tensorflow
关于我

不念过往，不惧未来

友情链接