位置: IT常识 - 正文

Python实现朴素贝叶斯分类器(用python编写素数)

编辑:rootadmin
Python实现朴素贝叶斯分类器 朴素贝叶斯分类器文章目录朴素贝叶斯分类器一、贝叶斯分类器是什么?贝叶斯判定准则朴素贝叶斯分类器举个栗子二、相关代码1.数据处理2.生成朴素贝叶斯表(字典)关于如何判断属性的连续或离散性根据朴素贝叶斯表计算预测标签总结一、贝叶斯分类器是什么?

推荐整理分享Python实现朴素贝叶斯分类器(用python编写素数),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python purple,python素数,用python编写素数,python怎么素数,python求素数算法,python purple,python求素数算法,python purple,内容如对您有帮助,希望把文章链接给更多的朋友!

贝叶斯分类器是以贝叶斯决策论为基础的一类分类器。和频率决策论不同,贝叶斯决策论使用后验概率来计算将某个数据data分类为某一类c的风险概率。对分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯判定准则

假设对于数据集D,有N种可能的类别标记,即Y={c1,c2...cn,}Y=\{c_{1},c_{2}...c_{n},\}Y={c1​,c2​...cn​,},λij\lambda_{ij}λij​是将一个真实标记为cjc_{j}cj​的样本误分类为cic_{i}ci​的损失,基于后验概率P(ci∣x)P(c_{i}|x)P(ci​∣x)可获得将样本x分类为cic_{i}ci​所产生的期望损失,即在样本x上的“条件概率”。R(ci∣x)=∑j=iNλijP(cj∣x)R(c_{i}|x)=\sum^{N}_{j=i}{\lambda_{ij}P(c_{j}|x)}R(ci​∣x)=j=i∑N​λij​P(cj​∣x) 我们的任务就是寻找一个判定标准h:X→Yh:X\rightarrow Yh:X→Y以最小化总体风险。 R(h)=Ex[R(h(x)∣x)]R(h)=E_{x}[R(h(x)|x)]R(h)=Ex​[R(h(x)∣x)] 对于每个样本x,若h能以最小化条件风险R(h(x)|x),则总体风险R(h)也将被最小化。这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记,即h∗(x)=argminc∈YR(c∣x)h^{*}(x)=arg\quad min_{c\in Y}{R(c|x)}h∗(x)=argminc∈Y​R(c∣x)此时,h∗h^{*}h∗称为贝叶斯最优分类器,与之对应的总体风险R(h*)称为在贝叶斯风险。 具体来说,若目标是最小化分类风险,那么 λij={ifi=j1otherwise\lambda_{ij}=\begin{cases}0&if\quad i=j\\1&otherwise\end{cases}λij​={01​ifi=jotherwise​ 此时条件风险R(c∣x)=1−P(c∣x)R(c|x)=1-P(c|x)R(c∣x)=1−P(c∣x)于是,最小化分类错误率的贝叶斯最优分类器为h∗(x)=argmaxc∈YP(c∣x)(1.1)h^{*}(x)=arg\quad max_{c\in Y}P(c|x)\quad(1.1)h∗(x)=argmaxc∈Y​P(c∣x)(1.1) ,即对每个样本x,选择能使后验概率P(c∣x)P(c|x)P(c∣x)最大的类别标记。基于贝叶斯定理,P(c∣x)P(c|x)P(c∣x)可写为P(c∣x)=P(c)P(x∣c)P(x)(1.2)P(c|x)=\dfrac{P(c)P(x|c)}{P(x)}\quad(1.2)P(c∣x)=P(x)P(c)P(x∣c)​(1.2),其中,P(c)P(c)P(c)是类“先验(prior)”概率;P(x∣c)P(x|c)P(x∣c)是样本x相对于类别标记c的条件概率。

朴素贝叶斯分类器

不难发现,基于贝叶斯公式来估计后验概率P(c∣x)P(c|x)P(c∣x)的主要难度在于类条件概率P(x∣c)P(x|c)P(x∣c)是所有属性的联合概率,难以从有限的训练集上进行直接计算。为了避开这个坑,朴素贝叶斯分类器的做法是,假设所有属性都互相独立。那么,基于属性条件独立假设,式(1.2)可重写为 P(c∣x)=P(c)P(x)∏i=1dP(xi∣c)(1.3)P(c|x)=\dfrac{P(c)}{P(x)}\prod^{d}_{i=1}{P(x_{i}|c)}\quad(1.3)P(c∣x)=P(x)P(c)​i=1∏d​P(xi​∣c)(1.3) 其中ddd为属性数目,xix_{i}xi​为x\mathbf{x}x在第iii个属性上的取值。 由于对于所有类别来说P(x)P(x)P(x)相同,因此基于式(1.1)的贝叶斯判定准则有hnb(x)=argmaxc∈YP(c)∏i=1dP(xi∣c)h_{nb}(x)=argmax_{c\in Y}P(c)\prod^{d}_{i=1}P(x_{i}|c)hnb​(x)=argmaxc∈Y​P(c)i=1∏d​P(xi​∣c)。 显然,朴素贝叶斯分类器的训练过程就是基于训练集D来估计先验概率P(c)P(c)P(c),并为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)。令DcD_{c}Dc​表示训练集D种第ccc类样本组成的集合,若有充足的独立同分布样本,则可容易地估计出类先验概率P(c)=∣Dc∣∣D∣P(c)=\dfrac{|D_{c}|}{|D|}P(c)=∣D∣∣Dc​∣​。 对于离散属性而言,令Dc,xiD_{c,x_{i}}Dc,xi​​表示DcD_{c}Dc​中在第iii个属性上取值为xix_{i}xi​的样本组成的集合,则条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)可估计为P(xi∣c)=∣Dc,xi∣∣Dc∣P(x_{i}|c)=\dfrac{|D_{c,x_{i}}|}{|D_{c}|}P(xi​∣c)=∣Dc​∣∣Dc,xi​​∣​。 对于连续属性可考虑概率密度函数,假定p(xi∣c) N(μc,i,σc,i2)p(x_{i}|c)~\mathcal{N}(\mu_{c,i},\sigma^{2}_{c,i})p(xi​∣c) N(μc,i​,σc,i2​),其中μc,i\mu_{c,i}μc,i​和σc,i2\sigma^{2}_{c,i}σc,i2​分别是第ccc类样本在第iii个属性上取值的均值和方差,则有p(xi∣c)=12πσc,iexp(−(xi−μc,i)22σc,i2)p(x_{i}|c)=\dfrac{1}{\sqrt{2\pi }\sigma_{c,i}}exp(-\dfrac{(x_{i}-\mu_{c,i})^{2}}{2\sigma^{2}_{c,i}})p(xi​∣c)=2π​σc,i​1​exp(−2σc,i2​(xi​−μc,i​)2​)

举个栗子Python实现朴素贝叶斯分类器(用python编写素数)

如上图所示的西瓜数据集,对测试样例编号1进行分类。对于先验概率P(c)P(c)P(c),有P(好瓜=是)=817P(好瓜=是)=\dfrac{8}{17}P(好瓜=是)=178​P(好瓜=否)=917P(好瓜=否)=\dfrac{9}{17}P(好瓜=否)=179​ 然后为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c): P青绿∣是=P(色泽=青绿∣好瓜=是)=38P_{青绿|是}=P(色泽=青绿|好瓜=是)=\dfrac{3}{8}P青绿∣是​=P(色泽=青绿∣好瓜=是)=83​ P蜷缩∣是=P(根蒂=蜷缩∣好瓜=是)=58P_{蜷缩|是}=P(根蒂=蜷缩|好瓜=是)=\dfrac{5}{8}P蜷缩∣是​=P(根蒂=蜷缩∣好瓜=是)=85​… p密度:0.697∣是=p(密度=0.697∣好瓜=是)=12π∗0.129exp(−(0.697−0.574)22∗0.1292)p_{密度:0.697|是}=p(密度=0.697|好瓜=是)=\dfrac{1}{\sqrt{2\pi}*0.129}exp(-\dfrac{(0.697-0.574)^{2}}{2*0.129^{2}})p密度:0.697∣是​=p(密度=0.697∣好瓜=是)=2π​∗0.1291​exp(−2∗0.1292(0.697−0.574)2​) 其余属性条件概率略 最后,P(好瓜=是)≈0.063P(好瓜=是)\approx 0.063P(好瓜=是)≈0.063 P(好瓜=否)≈6.80∗1−5P(好瓜=否)\approx 6.80*10^{-5}P(好瓜=否)≈6.80∗10−5 由于0.063>6.80∗1−50.063>6.80*10^{-5}0.063>6.80∗10−5因此将样例1判定为“好瓜”。

二、相关代码1.数据处理

该数据集是我通过西瓜书上的西瓜数据集随机生成的10000条数据。需要的评论留言。

代码如下(示例):

import numpy as npimport pandas as pddata=pd.read_csv("DataOrDocu/NewWatermelon2.csv",index_col=0)attributes=data.columnspath="DataOrDocu/PosterProbDict.npy"feature=data[:,:-1]label=data[:,-1]featureTrain,featureTest,labelTrain,labelTest=train_test_split(feature,label,train_size=0.7,random_state=10)labelTrain=np.reshape(labelTrain,(labelTrain.shape[0],1))labelTest=np.reshape(labelTest,(labelTest.shape[0],1))dataTrain=np.concatenate((featureTrain,labelTrain),axis=1)dataTrain=pd.DataFrame(dataTrain,columns=attributes,index=None)dataTest=np.concatenate((featureTest,labelTest),axis=1)dataTest=pd.DataFrame(dataTest,columns=attributes,index=None)2.生成朴素贝叶斯表(字典)

逻辑很简单,即根据式(1.3),先计算《好瓜=是|否》的先验概率,即P(好瓜=是)P(好瓜=是)P(好瓜=是)和P(好瓜=否)P(好瓜=否)P(好瓜=否),并以字典形式返回。然后计算各种条件概率比如P(色泽=青绿∣好瓜=是)P(色泽=青绿|好瓜=是)P(色泽=青绿∣好瓜=是)等等,如果是离散属性,那么保存P(a=ai∣好瓜=是or否)P(a=a_{i}|好瓜=是or否)P(a=ai​∣好瓜=是or否)等一系列条件概率;如果是连续属性,那么保存p好瓜,属性ap_{好瓜,属性a}p好瓜,属性a​的均值和方差。最后,将生成的字典保存成npy文件,方便后续使用。

关于如何判断属性的连续或离散性

此外,有一个问题其中有一个函数,用于判断某个属性是离散属性还是连续属性,我考虑了2种方案,但实际上并不都是完美的逻辑,只是针对具体的数据集具有逻辑的相对完备性。一是判断数据是否为字符类型,一般字符类型将其判断为离散属性,其他判断为连续属性,但很容易在其他数据集上发现例外;二是计算某属性的所有数据集中包含的值的所有种类,如果种类数量<一定的范围,那么,我即认定为其为离散值,大于该范围的,认定其为连续值。但当遇到稀疏数据时,此类办法也会经常失效。

具体代码如下:

import numpy as npdef PosteriorProbDivided(data,attributes,label,path): priorProba={} length=data.shape[0] labelKinds=KindsGet(data,label) #获取标签的所有类别 posterProbTable={} try: for i in labelKinds: dataTemp=data.loc[data[label]==i] tempLength=dataTemp.shape[0] tempPrior=tempLength/length priorProba.update({i:tempPrior}) tempAttr = {} # 用于保存所有属性的条件概率 for j in attributes: if IfDivideAttr(data,j): tempPosterProb=DivCondiProba(data,j,length) tempAttr.update({j:tempPosterProb}) #将该属性的条件概率保存 else: averageVar=ContiCondiProba(data,j) #如果该属性是连续值,那么将该属性的平均值和方差求出,并保存 tempAttr.update({j:averageVar}) posterProbTable.update({i:tempAttr}) try: np.save(path,posterProbTable) except FileExistsError as error: print(error) return priorProba except IndexError as error: print(error)def IfDivideAttr(data,attribute): #第一种判断属性离散还是连续的函数 values=np.unique(data[attribute]).shape[0] #获取某一属性的值的种类 length=data.shape[0] if values!=0: if values<=length/10: #如果某一属性的取值数量小于等于总数据量的十分之一,即判定其为离散值 return True else: return Falsedef IfDivideAttr2(data,attribute): #第二种判断属性离散还是连续的函数 return not isinstance(data[attribute],float)def KindsGet(data,attribute): #用于将离散属性的所有值返回 if IfDivideAttr(data,attribute): values=np.unique(np.array(data[attribute])) return values return Nonedef DivCondiProba(data,attribute,length): #计算某一离散属性的条件概率 tempAttrValues = KindsGet(data, attribute) tempPosterProb = {} # 用于保存某一属性的后验概率 for k in tempAttrValues: tempAttrPoster = data.loc[data[attribute] == k].shape[0] / length # 计算出当某属性a的值为k时,其在标签c上的条件概率P(k|c),并将其压进列表 tempPosterProb.update({k: tempAttrPoster}) return tempPosterProbdef ContiCondiProba(data,attribute): #计算某一连续属性的平均值和方差 contiValue=data[attribute] contiValue=np.array(contiValue) average=np.average(contiValue) variance=np.var(contiValue) return average,variance根据朴素贝叶斯表计算预测标签

针对某个数据的每一个属性对应的值,如果是离散属性,那么就从表中获取,如果是离散属性,那么就根据表中的均值和方差计算条件概率。但是区别于式(1.3),在程序中我对连乘做了一个取对数,防止指数爆炸(方正就是防止差距过大)。然后一个判断正确率的函数,单纯计算预测数据中的正确比例。

def PosteriorFind(data,posterProbTabel,priorProba): #用于计算某单个数据的最后标签 posterValues=[] #用于保存每一个标签的后验概率 bayesProba=0 for label in posterProbTabel: for attribute in posterProbTabel[label]: # attrValue=list(attribute.keys())[0] #取出字典键值对中的健 if IfDivideAttr2(data,attribute): tempValue=np.log(posterProbTabel[label][attribute][data[attribute]]) bayesProba+=tempValue else: averageVar=posterProbTabel[label][attribute] xi=data[attribute] average,variance=averageVar[0],averageVar[1] tempValue=1/(np.square(2*pi)*variance)*np.exp(-(xi-average)**2/2*variance**2) tempValue=np.log(tempValue) bayesProba+=tempValue labelKey=label #取出label的key labelPrior=priorProba[labelKey] bayesProba+=np.log(labelPrior) #将该循环内的标签c所对应的先验概率加入其中 posterValues.append(bayesProba) bayesProba=0 posterDict=zip(posterValues,list(posterProbTabel.keys())) posterDict=dict(posterDict) bestValue=np.max(posterValues) bestLabel=posterDict[bestValue] return bestLabeldef AccCal(data,label,PosterProbaTabel,priorProba): length=data.shape[0] acc=0 for i in range(data.shape[0]): labelPre=PosteriorFind(data.loc[i],PosterProbaTabel,priorProba) if labelPre==data[label][i]: acc+=1 ratio=acc/length return ratio总结

使用随机生成的10000条数据,按照0.7训练集,0.3测试集的比例。最后的正确率大概是百分之四十几 之后又使用了一下鸢尾花的数据集 结果如下正确率是百分之三十一(可以说是很辣鸡了 最后附上sklearn的高斯贝叶斯和决策树跑鸢尾花的正确率 要不怎么说人家是专业的呢(doge

本文链接地址:https://www.jiuchutong.com/zhishi/300623.html 转载请保留说明!

上一篇:YOLOv5|YOLOv7|YOLOv8改各种IoU损失函数:YOLOv8涨点Trick,改进添加SIoU损失函数、EIoU损失函数、GIoU损失函数、α-IoU损失函数

下一篇:Copilot 初体验(pilot coat)

  • 网站怎样打好地基(网站怎么添加网站地图)

    网站怎样打好地基(网站怎么添加网站地图)

  • 红米k40支持面部解锁吗(红米k40面部解锁什么级别)

    红米k40支持面部解锁吗(红米k40面部解锁什么级别)

  • 华为nova6与荣耀20pro的区别(华为nova6与荣耀30pro哪个更值得购买)

    华为nova6与荣耀20pro的区别(华为nova6与荣耀30pro哪个更值得购买)

  • 华为手环 4e怎么开机(华为手环4e怎么调时间)

    华为手环 4e怎么开机(华为手环4e怎么调时间)

  • 华为手机怎么看网速快不快(华为手机怎么看激活时间)

    华为手机怎么看网速快不快(华为手机怎么看激活时间)

  • 华为p40可以分期么(华为p40能分期吗)

    华为p40可以分期么(华为p40能分期吗)

  • 微信当前账户存在安全风险,暂时不能收款怎么办(微信当前账户存在风险,暂时不能付款)

    微信当前账户存在安全风险,暂时不能收款怎么办(微信当前账户存在风险,暂时不能付款)

  • 交换机vlan什么意思(交换机vlan配置原理)

    交换机vlan什么意思(交换机vlan配置原理)

  • 小米10pro有红外吗(小米10pro红外线功能在哪里)

    小米10pro有红外吗(小米10pro红外线功能在哪里)

  • 魅族一直显示插着耳机(魅族手机显示在充电但是却充不进去)

    魅族一直显示插着耳机(魅族手机显示在充电但是却充不进去)

  • 表格怎么加一列(手机word表格怎么加一列)

    表格怎么加一列(手机word表格怎么加一列)

  • 华为gratl00支持电信吗(华为gra-tl00参数)

    华为gratl00支持电信吗(华为gra-tl00参数)

  • mdt6是什么型号(mde6s什么型号多少钱)

    mdt6是什么型号(mde6s什么型号多少钱)

  • 抖音有评论上限吗(抖音评论上限每天多少条)

    抖音有评论上限吗(抖音评论上限每天多少条)

  • ps如何复制蒙版(ps粘贴到蒙版)

    ps如何复制蒙版(ps粘贴到蒙版)

  • 拼多多下单 备注在哪(拼多多下单 备注怎么看)

    拼多多下单 备注在哪(拼多多下单 备注怎么看)

  • 三星s8卡托断了怎么取(三星s8卡托断了还能用吗)

    三星s8卡托断了怎么取(三星s8卡托断了还能用吗)

  • 手机的系统相册在哪里 (手机的系统相册在什么位置苹果)

    手机的系统相册在哪里 (手机的系统相册在什么位置苹果)

  • 小米8充不进去电(小米8充不进去电须要关机重启才可以)

    小米8充不进去电(小米8充不进去电须要关机重启才可以)

  • vivo可以开空调么(vivo可以开空调不)

    vivo可以开空调么(vivo可以开空调不)

  • word乱码怎么办(qq打开word乱码怎么办)

    word乱码怎么办(qq打开word乱码怎么办)

  • 魅族16s用什么耳机(魅族16s用什么耳机转换口)

    魅族16s用什么耳机(魅族16s用什么耳机转换口)

  • 抖音里的字幕是怎么打上去的(抖音里字幕是怎么打的)

    抖音里的字幕是怎么打上去的(抖音里字幕是怎么打的)

  • 直播延迟怎么调(钉钉直播延迟怎么调)

    直播延迟怎么调(钉钉直播延迟怎么调)

  • 手机收不到信息怎么办(手机收不到信息是怎么回事儿?)

    手机收不到信息怎么办(手机收不到信息是怎么回事儿?)

  • 3g和4g运行内存的区别(3gb运行内存和4gb运行内存的区别)

    3g和4g运行内存的区别(3gb运行内存和4gb运行内存的区别)

  • 城建税减半征收政策文件
  • 企业所得税怎么算出来
  • 水利基金应税项和减除项
  • 工资扣水电费怎么算
  • 企业购买电话充值卡的分录
  • 已勾选未认证什么意思
  • 往法人账户转备用金
  • 支付违约金未取得正规发票能不能在税前列支
  • 当买方违约时,卖方可以得到哪些补救?
  • 处置使用过的固定资产,税率按多少
  • 罚款从工资扣除的说明
  • 已经认证的进项税转出
  • 贴标企业
  • 旅游服务费可以抵扣增值税
  • 建筑施工企业的安全生产许可证由哪里颁发
  • 小规模纳税人增值税超过30万怎么纳税
  • 发票上折扣怎么记账
  • 固定成本与变动成本的区别
  • 以前年度未分配利润属于什么科目
  • 三星笔记本预装系统
  • 处置固定资产简易计税怎么申报
  • 贴息贷款利息怎么入账
  • 营业外收入可以在贷方吗
  • 补缴社保公积金
  • 收到生育津贴会计分录
  • 长期待摊费用转入成本分录
  • bios boot设置
  • fast processing
  • 其他应付款余额在借方表示什么意思
  • 2020年外贸企业年终总结
  • 会计人员填制的记账凭证并不是登记账簿的唯一依据
  • 企业盈利结转本年利润分录
  • thinkPHP5 tablib标签库自定义方法详解
  • background-size 之 背景图的尺寸设置
  • 股份有限公司都是私企吗
  • vue中$route
  • php数组有哪几种类型
  • 长期待摊费用装修款如何摊销
  • json 处理
  • python并发和并行
  • mysql命令行如何命令行导出查询结果并导入
  • 网购报销需要发票和什么截图
  • 对增值税发票开具方面是有啥要求?
  • 对公账户余额和可用余额不一样
  • 上年亏损次年赢亏怎么算
  • 土地使用税减免税优惠
  • 公司给员工发福利图片
  • 挂靠在运输公司的车辆为什么要记入"固定资产"科目?
  • 增值税期末留抵税额是什么意思
  • 营业外收入账务处理方法
  • 备用金账目处理
  • 职工福利费的计提比例为职工工资总额扣除奖金后的
  • 预付账款没有发票吗
  • 咨询费开发票应该选哪一项?
  • 收到税务局退还的个税手续费怎么入账
  • 报关单的运费没填怎么办
  • 新准则会计科目解释
  • mysql 1290怎么解决
  • sql怎么分组查询
  • 打印机取消打印在哪里
  • win8.1怎么重新装系统
  • mac10.10.5无法升级
  • windows 如何解密
  • linux硬盘io
  • cocos2dx4.0入门
  • jquery实现复选框全选
  • nodejs requirejs
  • python+django
  • 数据库的列名是什么
  • (转)Unity3D NGUI在UI上显示3D模型
  • unity3d documentation
  • 简单的jquery插件实例
  • jquery封装的函数
  • javascript基础
  • android开发模式
  • 怎么看网页的编码格式
  • 一般纳税人开具的增值税普通发票和专用发票的区别
  • 广西国税发票查询系统
  • 工商变更信息如何在网上打印?
  • 北京市国家税务局网站官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设