Wwt-blog

学习 生活 分享

Boosting与Bagging

集成学习

个体与集成 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统,基于委员会的学习。 下图显示出集成学习的一般结构:先产生一组“个体学习器”,再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生,例如C4.5决策树算法、BP神经网络算法等,此时集成中只包含同种类型的个体学习器,例如“决策树集成”中全是决策树...

排序算法

排序

排序的基本概念 排序(sorting)是按关键字的非递减或非递增顺序对一组记录重新进行整队(或排列)的操作。 当待排序记录中的关键字$k_i(i=1,2,…,n)$都不相同时,则任何一个记录的无序序列经排序后得到的结果是唯一的;反之,若待排序的序列中存在两个或两个以上关键字相等的记录时,则排序所得到的记录序列的结果不唯一。假设$k_i=k_j(1\leq i \leq n,1\leq j...

概率和信息论—下篇

概率

信息论 信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含义噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。在这种情况下,信息论告诉我们如何设计最优编码,以及计算从一个特定的概率分布上采样得到、使用多种不同编码机制的消息的期望长度。在机器学习中,我们也可以把信息论应用在连续型变量上,而信息论中一些消息长度的解释不怎么使用...

概率和信息论—上篇

概率

概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性声明的公理。在人工智能领域,概率论主要由两种用途。首先,概率论告诉我们AI系统如何推理,据此我们设计一些算法来计算或者估算概率论导出的表达式。其次,我们可以用概率和统计从理论上分析我们提出的AI系统的行为。 1.为什么要使用概率论 计算机科学的许多分支处理的实体大部分都是完全确定且必然的。...

LDA浅析

主题模型

什么是主题模型 话题模型(topic model)是一族生成式有向图模型,主要用于处理离散型的数据(如文本集合),在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型(Latent Dirichlet Allocation,简称LDA)是话题模型的典型代表,它可以将文档集中每篇文档的主题以概率分布的形式给出。通过分析一些文档,我们可以抽取出它们的主题(分布),根据主题(分布)进行主...

python快速解析XML文件

python解析xml

在XML解析方面,Python贯彻了自己‘开箱即用’(batteries include)的原则。在自带的标准库中,Python提供了大量可以用于处理XML语言的包和工具,数量之多,甚至让Python编程新手无从选择。 本文介绍深入解读利用Python语言解析XML文件的几种方式,并以minidom示例,演示具体使用方法和场景。文中使用的Python版本为3.5.2。 什么是XML X...

Attention机制

Attention

Encoder-Decoder模型 所谓encoder-decoder模型,又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 什么是seq2seq呢?简单的说,就是根据一个序列x,来生成另一个输出序列y。seq2seq有很多应用,例如翻译,文档摘要,问答系统等等。在翻译中,输入序列是待翻译的文本,输出序列是翻译后的文本;在问答系统中,输入序列是提出的问题,而输出序列是答案。...

理解LSTM神经网络

一步一步理解LSTM

译自《Understanding LSTM Networks》,作者 colah 循环神经网络 人类并不是每时每刻都从头开始思考。在你阅读这篇文章的时候,你都是基于自己已经拥有的先前知识来推断当前词的真实含义。我们不会抛弃所有东西,然后重新开始思考。即我们的思想拥有持久性。 传统的神经的网络不能做到这一点,这看起来是一个巨大的弊端。例如,假设你希望对电影中每个时间点正在发生的事...

在Keras模型中使用预训练的词向量

预训练的词向量引入外部语义

前面三篇教程,我们学习了如何使用Keras搭建深度学习框架,接下来,我们使用预先训练的词向量和卷积神经网络解决一个文本分类问题。 什么是词向量 “词向量”(词嵌入)是将一类词的语义映射到向量空间中的自然语言处理技术。即将一个词用特定的向量来表示,向量之间的距离(例如,任意两个向量之间的L2范式距离或更常用的余弦距离)一定程度上表征了词之间的语义关系。由这些向量形成的几何空间被称为...

Keras入门-下篇

Keras

网络配置 损失函数 目标函数,或称损失函数,是编译一个模型必须的两个参数之一,可以通过传递预定义目标函数名字指定目标函数也可以传递一个Theano/TensorFlow的符号函数作为目标函数,该函数对每个数据点应该只返回一个标量值,并以下列两个参数为参数: y_true:真实的数据标签,Theano/TensorFlow张量 y_pred:预测值,与y_true相同shape...