Wuwt-blog

学习 生活 分享

闲话NLP中的对抗训练

对抗训练

简介 提到“对抗”，相信大多数人的第一反应都是CV中的对抗生成网络（GAN），殊不知，其实对抗也可以作为一种防御机制，并且经过简单的修改，便能用在NLP任务上，提高模型的泛化能力。关键是，对抗训练可以写成一个插件的形式，用几行代码就可以在训练中自由地调用，简单有效，使用成本低。目前网上对NLP中对抗训练有一些介绍，笔者在由于自己在比赛中使用对抗训练技巧，所以在这里做一下记录。 第一...

Posted by Wwt on November 6, 2020

Seq2Seq之Beam Search

Beam Search

本篇博文主要介绍beam search（束搜索）的基本原理以及其高效的实现方式。beam search广泛的应用在seq2seq模型中。但我尚未掌握其中的细节，目前为止，openNMT-py 是我见过最强大的翻译器和预测器，拥有着数量巨大的参数和广泛选项。 写这篇文章要比想象中难得很多。我发现很难简单一边介绍流程的内部工作原理，一边还要覆盖重要的代码块。由于这一困难，这篇博客被分成两部分，...

Posted by Wwt on September 5, 2020

统一预训练语言模型

Unified Language Model Pre-training for Natural Language Understanding and Generation

UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语言模型，来自于微软研究院。 本文参考自UniLM论文阅读笔记，部分有删改 介绍 目前，预训练模型(Language model) 大幅地提高了各种自然语...

Posted by Wwt on July 18, 2020

基于预训练模型的文本摘要

Text Summarization with Pretrained Encoders

文本摘要任务 任务概述：浏览一篇新闻或论文，用精炼且核心的语句来概括整篇文章的内容，用户只需通过阅读摘要就能获取文章的主要内容。 文本摘要通过生成方式可以分为生成式和抽取式，根据处理对象的不同又可以分为单文档摘要和多文档摘要。 抽取式摘要主要从原文中抽取若干个句子作为摘要，通过对句子进行打分，获得句子的重要性，在通顺程度上要比生成式效果好，但也会出现冗余的问题。 生成式摘要与...

Posted by Wwt on May 16, 2020

基于标签特定文本表示的文本多标签分类

Label-Specific Document Representation for Multi-Label Text Classification

本文是《Label-Specific Document Representation for Multi-Label Text Classification》的阅读笔记，部分内容有删改。 多标签文本分类旨在对给定文本分配多个相关类别的标签。在该篇论文中提出了一个label specific attention network(LSAN)来学习文档表示。LSAN能够利用标签的语义信息...

Posted by Wwt on April 18, 2020

ELECTRA：超越BERT的预训练模型

ELECTRA

本文参考自ELECTRA: 超越BERT, 19年最佳NLP预训练模型，部分内容有删改。 1.简介 ELECTRA全称是Efficiently Learning an Encoder that Classifies Token Replacements Accurately。首先来看一下来自论文的自我吹嘘。 掩码语言模型(masked langauge model,MLM)，类...

Posted by Wwt on March 29, 2020

BERT应用之阅读理解

BERT

本文参考自BERT系列（三）– BERT在阅读理解与问答上应用，部分内容有删改。 机器阅读理解和问答是自然语言处理领域的一个热门主题。该任务旨在让机器人像人类一样能够看懂文章。因此本篇将通过介绍如何利用BERT来解决阅读理解与问答问题，来帮助新手入门阅读理解任务。 阅读理解与问答简介 机器阅读理解与问答主要涉及到深度学习、自然语言处理和信息检索。检索阅读理解具有很高的研究价值和...

Posted by Wwt on February 15, 2020

基于门控多层次注意力机制的偏置标注网络

门控注意力

《Collective Event Detection via a Hierarchical and Bias Tagging Networks with Gated Multi-level Attention Mechanisms》这篇18年的emnlp论文主要从句子级和文档级的注意力(attention)机制来解决事件抽取领域中标签相关性的问题。通过这篇论文主要是学习其中不同级别的注意力...

Posted by Wwt on January 24, 2020

BERT相关总结

BERT

本文参考自关于BERT的若干问题整理记录，部分内容有删改。 BERT自从2018年横空出世后，有关BERT的论文和比赛就不断刷屏。之前写了一篇博文的介绍了BERT的来世今生，转眼就来到了2019年底，因此这一篇博文就相当于一个BERT的年终总结。废话不多说，我们直奔主题。 基本原理 BERT来自谷歌论文Pre-training of Deep Bidirectional Tra...

Posted by Wwt on December 8, 2019

文本匹配模型

text similarity

CCL“中国法研杯”相似案例匹配评测竞赛主要是针对多篇法律文本进行相似度的计算和判断。具体地，对于每份文书提供文本的标题以及描述事实，需要从两篇候选文集中找到与询问文书更为相似的一篇文书。 从本质上来看，这与二元组匹配任务类似，二元组匹配任务是输入一个元组$<X,Y>$，判断$X$和$Y$是否为同一类样本。代表网络有Siamase network,ESIM,InferSent。...

Posted by Wwt on November 3, 2019

热门标签
基础教程 机器学习 深度学习 卷积神经网络 语言模型 NLP 循环神经网络 信息论 Keras 注意力 集成学习 对抗网络 事件抽取 文本摘要
关于我

不念过往，不惧未来

友情链接