Wuwt-blog

学习 生活 分享

BERT应用之阅读理解

BERT

本文参考自BERT系列（三）– BERT在阅读理解与问答上应用，部分内容有删改。 机器阅读理解和问答是自然语言处理领域的一个热门主题。该任务旨在让机器人像人类一样能够看懂文章。因此本篇将通过介绍如何利用BERT来解决阅读理解与问答问题，来帮助新手入门阅读理解任务。 阅读理解与问答简介 机器阅读理解与问答主要涉及到深度学习、自然语言处理和信息检索。检索阅读理解具有很高的研究价值和...

Posted by Wwt on February 15, 2020

基于门控多层次注意力机制的偏置标注网络

门控注意力

《Collective Event Detection via a Hierarchical and Bias Tagging Networks with Gated Multi-level Attention Mechanisms》这篇18年的emnlp论文主要从句子级和文档级的注意力(attention)机制来解决事件抽取领域中标签相关性的问题。通过这篇论文主要是学习其中不同级别的注意力...

Posted by Wwt on January 24, 2020

BERT相关总结

BERT

本文参考自关于BERT的若干问题整理记录，部分内容有删改。 BERT自从2018年横空出世后，有关BERT的论文和比赛就不断刷屏。之前写了一篇博文的介绍了BERT的来世今生，转眼就来到了2019年底，因此这一篇博文就相当于一个BERT的年终总结。废话不多说，我们直奔主题。 基本原理 BERT来自谷歌论文Pre-training of Deep Bidirectional Tra...

Posted by Wwt on December 8, 2019

文本匹配模型

text similarity

CCL“中国法研杯”相似案例匹配评测竞赛主要是针对多篇法律文本进行相似度的计算和判断。具体地，对于每份文书提供文本的标题以及描述事实，需要从两篇候选文集中找到与询问文书更为相似的一篇文书。 从本质上来看，这与二元组匹配任务类似，二元组匹配任务是输入一个元组$<X,Y>$，判断$X$和$Y$是否为同一类样本。代表网络有Siamase network,ESIM,InferSent。...

Posted by Wwt on November 3, 2019

Git使用基础教程

Git Basics

转载自Git教程 ,部分篇幅有增删，作者：廖雪峰 对于一个编程人员来说，经常涉及到代码管理，这就难免与gi t打交道了。关于git的教程，网上google一下，会出现一堆相关的文章和教程，但令人失望的是，这些教程不是晦涩难懂，就是就是简单的一笔带过。或者，只支离破碎地介绍几个git命令。总之，初学者很难找到一个由浅入深，学完后对git有个大概了解，可以立即上手的教程。 因此，本文...

Posted by Wwt on October 26, 2019

玩转seq2seq之生成标题

seq2seq

转载自玩转Keras之seq2seq自动生成标题 ,作者：苏剑林 自入坑nlp以来，搞了很久的分类和序列标注任务，我都还没有真正跑过NLP与深度学习结合的经典之作–seq2seq。这几天一直都这研究这个任务，决定通过学习代码并实践一番seq2seq。 seq2seq可以做的事情非常多，我选择的是比较简单的根据文章内容生成标题 $(中文\mid英文)$，也可以理解为自动摘要的一种。...

Posted by Wwt on October 13, 2019

使用Tensorflow实现文本分类模型

文本分类模型

在很早的一篇博文中在Keras模型中使用预训练的词向量，我们介绍了如何使用Keras实现一个卷积神经网络的文本分类模型。基于CNN的文本分类模型简直是新手学习一个深度学习框架的绝佳练手项目，所以，这篇博文我们将介绍一个基于tensorflow的卷积神经网络的文本分类模型，记录一下自己在学习tensorflow时候的爬坑过程。 模型简介 模型架构如图所示： 从左向右看，第一层是词嵌入...

Posted by Wwt on August 24, 2019

基于对抗训练的远程弱监督事件抽取

Adversarial Training for Weakly Supervised Event Detection

本文主要关注将弱监督方法应用到事件抽取（Event Detection）中，并利用对抗训练，来解决人工标注耗时耗力的问题，通过自动标注数据获得了显著的效果。以往的方法通常依赖于复杂的预定义规则和知识库中的现有示例来标注信息，该方法容易遭受覆盖面不广、主题偏差和数据噪声的影响。为了解决上述问题，我们构建了一个大规模且覆盖面较广的相关事件数据集，然后应用对抗训练机制来识别候选集的信息实例，同时过...

Posted by Wwt on August 5, 2019

金融事件评测任务

事件抽取

任务描述 本文是对CCKS的一个评测任务进行介绍,并介绍了其中一个baseline系统。 “事件识别”是舆情监控领域和金融领域的重要任务之一，“事件”在金融领域是投资分析，资产管理的重要决策参考。“事件识别”的复杂性在于事件类型和事件主体的判断，比如“公司A产品出现添加剂，其下属子公司B和公司C遭到了调查”，对于“产品出现问题”事件类型，该句中事件主体是“公司A”，而不是“公司B...

Posted by Wwt on May 22, 2019

Word2Vec之Skip-Gram模型--下

Skip-Gram

本文摘自文章《Word2Vec Tutorial - The Skip-Gram Model》，部分内容稍作修改，供学习参考 第一部分我们介绍了Skip-gram的输入层、隐层和输出层。在本文中，继续深入分析如何在Skip-gram模型上进行高效的训练。 在第一部分中，我们会发现Word2vec模型是一个超级大的神经网络（权重矩阵规模非常大）。 举个例子，我们拥有10000个单...

Posted by Wwt on April 15, 2019

热门标签
基础教程 机器学习 深度学习 卷积神经网络 语言模型 NLP 循环神经网络 信息论 Keras 注意力 集成学习 对抗网络 事件抽取 文本摘要
关于我

不念过往，不惧未来