一、概率基础知识 1.1、条件概率 1.2、全概率公式 1.3、贝叶斯公式 1.4、特征条件独立假设 1.5、拉普拉斯平滑 二、朴素贝叶斯分类 三、连续变量贝叶斯(高斯分布) 四、优缺点 五、半朴素贝叶斯分类器 六、贝叶斯网络结构 6.1、概念 6.2 三种贝叶斯网络结构情况 一、概率基础知识 1.1、条件概率 1.2、全概率公式 若只有两个事件A,B,那么: P(B)=P(A1B)+P(A2B)...

一、贝叶斯 1)贝叶斯原理 公式中,事件Bi的概率为P(Bi),事件Bi已发生条件下事件A的概率为P(A│Bi),事件A发生条件下事件Bi的概率为P(Bi│A)。 2)贝叶斯解决的问题 实例一: 我们想预测北京的冬天某一天下雪,当天堵车的概率是多少P(B|A) A是下雪P(A) = 0.1 B是堵车P(B) = 0.8 如果某一天堵车,下雪的概率是 0.1 P(A|B) = 0.1 P(B|A) ...

文章转载自:https://blog.csdn.net/li8zi8fa/article/details/76176597 朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤。该算法虽然简单,但是由于笔者不常用,总是看过即忘,这是写这篇博文的初衷。当然,更大的动力来在于跟大家交流,有论述不妥的地方欢迎指正。 1...

一、朴素贝叶斯 KNN分类算法和决策树分类算法预测出一个确定的数值,但是,有时候分类器会产生错误结果;朴素贝叶斯分类算法则是给出一个最优的猜测结果,同时给出猜测的概率估计值。 我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1(图中用圆点表示的类别)的概率,用 p2(x,y) 表示数据点 (x,y) 属于类别 2(图中三角形表示的类别)的概率,那么对于一个新数据点 (x,y),可以用...

朴素贝叶斯算法:特征独立(常用在文档分类) 对类别进行划分。预测一个类别在所有类别中的概率,然后根据大小进行划分。比如说:如图 概率基础: 概率定义为一件事情发生的可能性 扔出一个硬币,结果头像朝上 某天是晴天 联合概率和条件概率 联合概率:包含多个条件,且所有条件同时成立的概率 记作:P(A,B) 条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率 记作:P(A|B) 特性:P(A1,...

朴素贝叶斯简介

朴素贝叶斯

  

2020-04-10 05:38:50

朴素贝叶斯 朴素贝叶斯是一种速度很快的分类算法,适用于数据特征维度很高的情况。它假设数据的特征之间相互独立,这也是“朴素”这一名称的由来,其数学基础是贝叶斯定理。 根据每个特征的数据分布的假设不同,有高斯朴素贝叶斯,多项式朴素贝叶斯,伯努利朴素贝叶斯。 高斯朴素贝叶斯 高斯朴素贝叶斯假设每个特征的数据服从高斯分布,也就是正态分布 在scikit-learn中运用高斯朴素贝叶...

朴素贝叶斯分类

朴素贝叶斯

  

2020-04-17 14:07:19

一、概念 朴素贝叶斯 朴素:条件独立性假设,指特征之间的相互独立性假设,即一个特征出现的可能性与其他特征没有关系。比如说,假设单词bacon出现在unhealthy后面和delisious后面的概率相同。 使用条件概率进行分类:选择具有最高概率的决策 贝叶斯准则: 二、使用朴素贝叶斯进行文档分类 准备数据:将句子转换成向量,统计所有文档中出现的单词形成列表 结果: 从词向量计算概率 伪代码: 训练...

本文参考了该博客的实例,但该博客中的朴素贝叶斯公式计算错误,评论中的也不对,所以,重新写一篇。 一. 朴素贝叶斯       朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单,但有时会牺牲一定的分类准确率。     首先给出贝叶斯公式:     换成分类任务的表达式:   &n...

朴素贝叶斯

朴素贝叶斯

  

2020-04-21 15:19:35

本文参考了该博客的实例,但该博客中的朴素贝叶斯公式计算错误,评论中的也不对,所以,重新写一篇。 一. 朴素贝叶斯       朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单,但有时会牺牲一定的分类准确率。     首先给出贝叶斯公式:     换成分类任务的表达式:   &n...

朴素贝叶斯分类器是生成式模型的代表,同时朴素贝叶斯和逻辑回归都是线性分类器,两者可以组成了一组生成-判别对。为了更好的了解朴素贝叶斯,又倒回去看了Andrew ng的机器学习视频第4讲和第5讲,并做了如下笔记。以下知识基本上都是视频中的内容,没有什么自己的东西,如有对视频理解不到位的地方,欢迎指正。 1.生成式方法简介 分类算法要解决的问题是给定一个如下图训练集合,如果对它运行逻辑回归这样的算法,...

首先来个栗子【Wikipedia】 “一所学校里面有 60% 的男生,40% 的女生。男生总是穿长裤,女生则一半穿长裤一半穿裙子。有了这些信息之后我们可以容易地计算“随机选取一个学生,他(她)穿长裤的概率和穿裙子的概率是多大”,这个就是前面说的“正向概率”的计算。然而,假设你走在校园中,迎面走来一个穿长裤的学生(很不幸的是你高度近似,你只...

一、全概率公式和贝叶斯公式 1、全概率公式 2、贝叶斯公式 二、朴素贝叶斯算法 1、算法简介   贝叶斯分类算法是统计学的一种分类方法,其分类原理就是利用贝叶斯公式根据某对象的先验概率计算出其后验概率,然后选择具有最大后验概率的类作为该对象所属的类。之所以称之为”朴素”,是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是统计独立的(假设某样本x有...

朴素贝叶斯

朴素贝叶斯  分类

  

2019-09-07 02:40:41

这也是在概率论课上做的实验报告,因为整理成文档比较麻烦,就直接上PPT了。 朴素贝叶斯适用于分类任务,思想简单,用统计的结果充当先验概率,并以此来估计后验概率。     实验结果: 对于朴素贝叶斯的改进点: 1 用bag of words 而不是 one-hot 2 对于0概率事件采用平滑算法 3 用log处理概率 ,把乘法转化成加法,避免下溢出 4 将文本进行切分,防止垃圾邮...

题目来源https://www.kaggle.com/c/titanic, train.csv和test.csv分别为训练集和测试集(生还未知),建模之前必须进行必要的数据分析,比如将一些无关的列剔除掉,在这里只是简单的考量,实际工程中可能还要考虑数据的分布情况,比如均值、方差、每种属性下的存还比率等,并且将训练中的缺失记录剔除掉,利用平均值补齐测试集缺失值(也可以用预测的方法因为缺失不是很多),...

背景 我们先举一个例子,关于向天上抛硬币的实验,有一个训练集{h,t,x,t,t,t,t} 。那么我们通过这个训练集预测下一个抛的结果就应该是t,因为P(t)=57是最大的。 我们再举一个例子,现在有两种假设 1. 老师被外星人绑架了 — P(1)=0.00...01 2. 老师沉迷科研,忘了时间 — P(2)=0.99...99 现在老师上课迟到了,那么是什么原因呢? 1...