位置: IT常识 - 正文

Python实现朴素贝叶斯分类器(用python编写素数)

编辑:rootadmin
Python实现朴素贝叶斯分类器 朴素贝叶斯分类器文章目录朴素贝叶斯分类器一、贝叶斯分类器是什么?贝叶斯判定准则朴素贝叶斯分类器举个栗子二、相关代码1.数据处理2.生成朴素贝叶斯表(字典)关于如何判断属性的连续或离散性根据朴素贝叶斯表计算预测标签总结一、贝叶斯分类器是什么?

推荐整理分享Python实现朴素贝叶斯分类器(用python编写素数),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python purple,python素数,用python编写素数,python怎么素数,python求素数算法,python purple,python求素数算法,python purple,内容如对您有帮助,希望把文章链接给更多的朋友!

贝叶斯分类器是以贝叶斯决策论为基础的一类分类器。和频率决策论不同,贝叶斯决策论使用后验概率来计算将某个数据data分类为某一类c的风险概率。对分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯判定准则

假设对于数据集D,有N种可能的类别标记,即Y={c1,c2...cn,}Y=\{c_{1},c_{2}...c_{n},\}Y={c1​,c2​...cn​,},λij\lambda_{ij}λij​是将一个真实标记为cjc_{j}cj​的样本误分类为cic_{i}ci​的损失,基于后验概率P(ci∣x)P(c_{i}|x)P(ci​∣x)可获得将样本x分类为cic_{i}ci​所产生的期望损失,即在样本x上的“条件概率”。R(ci∣x)=∑j=iNλijP(cj∣x)R(c_{i}|x)=\sum^{N}_{j=i}{\lambda_{ij}P(c_{j}|x)}R(ci​∣x)=j=i∑N​λij​P(cj​∣x) 我们的任务就是寻找一个判定标准h:X→Yh:X\rightarrow Yh:X→Y以最小化总体风险。 R(h)=Ex[R(h(x)∣x)]R(h)=E_{x}[R(h(x)|x)]R(h)=Ex​[R(h(x)∣x)] 对于每个样本x,若h能以最小化条件风险R(h(x)|x),则总体风险R(h)也将被最小化。这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记,即h∗(x)=argminc∈YR(c∣x)h^{*}(x)=arg\quad min_{c\in Y}{R(c|x)}h∗(x)=argminc∈Y​R(c∣x)此时,h∗h^{*}h∗称为贝叶斯最优分类器,与之对应的总体风险R(h*)称为在贝叶斯风险。 具体来说,若目标是最小化分类风险,那么 λij={ifi=j1otherwise\lambda_{ij}=\begin{cases}0&if\quad i=j\\1&otherwise\end{cases}λij​={01​ifi=jotherwise​ 此时条件风险R(c∣x)=1−P(c∣x)R(c|x)=1-P(c|x)R(c∣x)=1−P(c∣x)于是,最小化分类错误率的贝叶斯最优分类器为h∗(x)=argmaxc∈YP(c∣x)(1.1)h^{*}(x)=arg\quad max_{c\in Y}P(c|x)\quad(1.1)h∗(x)=argmaxc∈Y​P(c∣x)(1.1) ,即对每个样本x,选择能使后验概率P(c∣x)P(c|x)P(c∣x)最大的类别标记。基于贝叶斯定理,P(c∣x)P(c|x)P(c∣x)可写为P(c∣x)=P(c)P(x∣c)P(x)(1.2)P(c|x)=\dfrac{P(c)P(x|c)}{P(x)}\quad(1.2)P(c∣x)=P(x)P(c)P(x∣c)​(1.2),其中,P(c)P(c)P(c)是类“先验(prior)”概率;P(x∣c)P(x|c)P(x∣c)是样本x相对于类别标记c的条件概率。

朴素贝叶斯分类器

不难发现,基于贝叶斯公式来估计后验概率P(c∣x)P(c|x)P(c∣x)的主要难度在于类条件概率P(x∣c)P(x|c)P(x∣c)是所有属性的联合概率,难以从有限的训练集上进行直接计算。为了避开这个坑,朴素贝叶斯分类器的做法是,假设所有属性都互相独立。那么,基于属性条件独立假设,式(1.2)可重写为 P(c∣x)=P(c)P(x)∏i=1dP(xi∣c)(1.3)P(c|x)=\dfrac{P(c)}{P(x)}\prod^{d}_{i=1}{P(x_{i}|c)}\quad(1.3)P(c∣x)=P(x)P(c)​i=1∏d​P(xi​∣c)(1.3) 其中ddd为属性数目,xix_{i}xi​为x\mathbf{x}x在第iii个属性上的取值。 由于对于所有类别来说P(x)P(x)P(x)相同,因此基于式(1.1)的贝叶斯判定准则有hnb(x)=argmaxc∈YP(c)∏i=1dP(xi∣c)h_{nb}(x)=argmax_{c\in Y}P(c)\prod^{d}_{i=1}P(x_{i}|c)hnb​(x)=argmaxc∈Y​P(c)i=1∏d​P(xi​∣c)。 显然,朴素贝叶斯分类器的训练过程就是基于训练集D来估计先验概率P(c)P(c)P(c),并为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)。令DcD_{c}Dc​表示训练集D种第ccc类样本组成的集合,若有充足的独立同分布样本,则可容易地估计出类先验概率P(c)=∣Dc∣∣D∣P(c)=\dfrac{|D_{c}|}{|D|}P(c)=∣D∣∣Dc​∣​。 对于离散属性而言,令Dc,xiD_{c,x_{i}}Dc,xi​​表示DcD_{c}Dc​中在第iii个属性上取值为xix_{i}xi​的样本组成的集合,则条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)可估计为P(xi∣c)=∣Dc,xi∣∣Dc∣P(x_{i}|c)=\dfrac{|D_{c,x_{i}}|}{|D_{c}|}P(xi​∣c)=∣Dc​∣∣Dc,xi​​∣​。 对于连续属性可考虑概率密度函数,假定p(xi∣c) N(μc,i,σc,i2)p(x_{i}|c)~\mathcal{N}(\mu_{c,i},\sigma^{2}_{c,i})p(xi​∣c) N(μc,i​,σc,i2​),其中μc,i\mu_{c,i}μc,i​和σc,i2\sigma^{2}_{c,i}σc,i2​分别是第ccc类样本在第iii个属性上取值的均值和方差,则有p(xi∣c)=12πσc,iexp(−(xi−μc,i)22σc,i2)p(x_{i}|c)=\dfrac{1}{\sqrt{2\pi }\sigma_{c,i}}exp(-\dfrac{(x_{i}-\mu_{c,i})^{2}}{2\sigma^{2}_{c,i}})p(xi​∣c)=2π​σc,i​1​exp(−2σc,i2​(xi​−μc,i​)2​)

举个栗子Python实现朴素贝叶斯分类器(用python编写素数)

如上图所示的西瓜数据集,对测试样例编号1进行分类。对于先验概率P(c)P(c)P(c),有P(好瓜=是)=817P(好瓜=是)=\dfrac{8}{17}P(好瓜=是)=178​P(好瓜=否)=917P(好瓜=否)=\dfrac{9}{17}P(好瓜=否)=179​ 然后为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c): P青绿∣是=P(色泽=青绿∣好瓜=是)=38P_{青绿|是}=P(色泽=青绿|好瓜=是)=\dfrac{3}{8}P青绿∣是​=P(色泽=青绿∣好瓜=是)=83​ P蜷缩∣是=P(根蒂=蜷缩∣好瓜=是)=58P_{蜷缩|是}=P(根蒂=蜷缩|好瓜=是)=\dfrac{5}{8}P蜷缩∣是​=P(根蒂=蜷缩∣好瓜=是)=85​… p密度:0.697∣是=p(密度=0.697∣好瓜=是)=12π∗0.129exp(−(0.697−0.574)22∗0.1292)p_{密度:0.697|是}=p(密度=0.697|好瓜=是)=\dfrac{1}{\sqrt{2\pi}*0.129}exp(-\dfrac{(0.697-0.574)^{2}}{2*0.129^{2}})p密度:0.697∣是​=p(密度=0.697∣好瓜=是)=2π​∗0.1291​exp(−2∗0.1292(0.697−0.574)2​) 其余属性条件概率略 最后,P(好瓜=是)≈0.063P(好瓜=是)\approx 0.063P(好瓜=是)≈0.063 P(好瓜=否)≈6.80∗1−5P(好瓜=否)\approx 6.80*10^{-5}P(好瓜=否)≈6.80∗10−5 由于0.063>6.80∗1−50.063>6.80*10^{-5}0.063>6.80∗10−5因此将样例1判定为“好瓜”。

二、相关代码1.数据处理

该数据集是我通过西瓜书上的西瓜数据集随机生成的10000条数据。需要的评论留言。

代码如下(示例):

import numpy as npimport pandas as pddata=pd.read_csv("DataOrDocu/NewWatermelon2.csv",index_col=0)attributes=data.columnspath="DataOrDocu/PosterProbDict.npy"feature=data[:,:-1]label=data[:,-1]featureTrain,featureTest,labelTrain,labelTest=train_test_split(feature,label,train_size=0.7,random_state=10)labelTrain=np.reshape(labelTrain,(labelTrain.shape[0],1))labelTest=np.reshape(labelTest,(labelTest.shape[0],1))dataTrain=np.concatenate((featureTrain,labelTrain),axis=1)dataTrain=pd.DataFrame(dataTrain,columns=attributes,index=None)dataTest=np.concatenate((featureTest,labelTest),axis=1)dataTest=pd.DataFrame(dataTest,columns=attributes,index=None)2.生成朴素贝叶斯表(字典)

逻辑很简单,即根据式(1.3),先计算《好瓜=是|否》的先验概率,即P(好瓜=是)P(好瓜=是)P(好瓜=是)和P(好瓜=否)P(好瓜=否)P(好瓜=否),并以字典形式返回。然后计算各种条件概率比如P(色泽=青绿∣好瓜=是)P(色泽=青绿|好瓜=是)P(色泽=青绿∣好瓜=是)等等,如果是离散属性,那么保存P(a=ai∣好瓜=是or否)P(a=a_{i}|好瓜=是or否)P(a=ai​∣好瓜=是or否)等一系列条件概率;如果是连续属性,那么保存p好瓜,属性ap_{好瓜,属性a}p好瓜,属性a​的均值和方差。最后,将生成的字典保存成npy文件,方便后续使用。

关于如何判断属性的连续或离散性

此外,有一个问题其中有一个函数,用于判断某个属性是离散属性还是连续属性,我考虑了2种方案,但实际上并不都是完美的逻辑,只是针对具体的数据集具有逻辑的相对完备性。一是判断数据是否为字符类型,一般字符类型将其判断为离散属性,其他判断为连续属性,但很容易在其他数据集上发现例外;二是计算某属性的所有数据集中包含的值的所有种类,如果种类数量<一定的范围,那么,我即认定为其为离散值,大于该范围的,认定其为连续值。但当遇到稀疏数据时,此类办法也会经常失效。

具体代码如下:

import numpy as npdef PosteriorProbDivided(data,attributes,label,path): priorProba={} length=data.shape[0] labelKinds=KindsGet(data,label) #获取标签的所有类别 posterProbTable={} try: for i in labelKinds: dataTemp=data.loc[data[label]==i] tempLength=dataTemp.shape[0] tempPrior=tempLength/length priorProba.update({i:tempPrior}) tempAttr = {} # 用于保存所有属性的条件概率 for j in attributes: if IfDivideAttr(data,j): tempPosterProb=DivCondiProba(data,j,length) tempAttr.update({j:tempPosterProb}) #将该属性的条件概率保存 else: averageVar=ContiCondiProba(data,j) #如果该属性是连续值,那么将该属性的平均值和方差求出,并保存 tempAttr.update({j:averageVar}) posterProbTable.update({i:tempAttr}) try: np.save(path,posterProbTable) except FileExistsError as error: print(error) return priorProba except IndexError as error: print(error)def IfDivideAttr(data,attribute): #第一种判断属性离散还是连续的函数 values=np.unique(data[attribute]).shape[0] #获取某一属性的值的种类 length=data.shape[0] if values!=0: if values<=length/10: #如果某一属性的取值数量小于等于总数据量的十分之一,即判定其为离散值 return True else: return Falsedef IfDivideAttr2(data,attribute): #第二种判断属性离散还是连续的函数 return not isinstance(data[attribute],float)def KindsGet(data,attribute): #用于将离散属性的所有值返回 if IfDivideAttr(data,attribute): values=np.unique(np.array(data[attribute])) return values return Nonedef DivCondiProba(data,attribute,length): #计算某一离散属性的条件概率 tempAttrValues = KindsGet(data, attribute) tempPosterProb = {} # 用于保存某一属性的后验概率 for k in tempAttrValues: tempAttrPoster = data.loc[data[attribute] == k].shape[0] / length # 计算出当某属性a的值为k时,其在标签c上的条件概率P(k|c),并将其压进列表 tempPosterProb.update({k: tempAttrPoster}) return tempPosterProbdef ContiCondiProba(data,attribute): #计算某一连续属性的平均值和方差 contiValue=data[attribute] contiValue=np.array(contiValue) average=np.average(contiValue) variance=np.var(contiValue) return average,variance根据朴素贝叶斯表计算预测标签

针对某个数据的每一个属性对应的值,如果是离散属性,那么就从表中获取,如果是离散属性,那么就根据表中的均值和方差计算条件概率。但是区别于式(1.3),在程序中我对连乘做了一个取对数,防止指数爆炸(方正就是防止差距过大)。然后一个判断正确率的函数,单纯计算预测数据中的正确比例。

def PosteriorFind(data,posterProbTabel,priorProba): #用于计算某单个数据的最后标签 posterValues=[] #用于保存每一个标签的后验概率 bayesProba=0 for label in posterProbTabel: for attribute in posterProbTabel[label]: # attrValue=list(attribute.keys())[0] #取出字典键值对中的健 if IfDivideAttr2(data,attribute): tempValue=np.log(posterProbTabel[label][attribute][data[attribute]]) bayesProba+=tempValue else: averageVar=posterProbTabel[label][attribute] xi=data[attribute] average,variance=averageVar[0],averageVar[1] tempValue=1/(np.square(2*pi)*variance)*np.exp(-(xi-average)**2/2*variance**2) tempValue=np.log(tempValue) bayesProba+=tempValue labelKey=label #取出label的key labelPrior=priorProba[labelKey] bayesProba+=np.log(labelPrior) #将该循环内的标签c所对应的先验概率加入其中 posterValues.append(bayesProba) bayesProba=0 posterDict=zip(posterValues,list(posterProbTabel.keys())) posterDict=dict(posterDict) bestValue=np.max(posterValues) bestLabel=posterDict[bestValue] return bestLabeldef AccCal(data,label,PosterProbaTabel,priorProba): length=data.shape[0] acc=0 for i in range(data.shape[0]): labelPre=PosteriorFind(data.loc[i],PosterProbaTabel,priorProba) if labelPre==data[label][i]: acc+=1 ratio=acc/length return ratio总结

使用随机生成的10000条数据,按照0.7训练集,0.3测试集的比例。最后的正确率大概是百分之四十几 之后又使用了一下鸢尾花的数据集 结果如下正确率是百分之三十一(可以说是很辣鸡了 最后附上sklearn的高斯贝叶斯和决策树跑鸢尾花的正确率 要不怎么说人家是专业的呢(doge

本文链接地址:https://www.jiuchutong.com/zhishi/300623.html 转载请保留说明!

上一篇:YOLOv5|YOLOv7|YOLOv8改各种IoU损失函数:YOLOv8涨点Trick,改进添加SIoU损失函数、EIoU损失函数、GIoU损失函数、α-IoU损失函数

下一篇:Copilot 初体验(pilot coat)

  • 苹果手机那个小圆圈怎么弄出来(苹果手机那个小圆点怎么设置)

    苹果手机那个小圆圈怎么弄出来(苹果手机那个小圆点怎么设置)

  • wps批注怎么加(wps批注怎么加图片)

    wps批注怎么加(wps批注怎么加图片)

  • 华为nova5i在哪里下载东西(华为nova5i在哪里插卡)

    华为nova5i在哪里下载东西(华为nova5i在哪里插卡)

  • 华为手机语音唤醒手机怎么设置(华为手机语音唤醒功能怎么设置)

    华为手机语音唤醒手机怎么设置(华为手机语音唤醒功能怎么设置)

  • 轻颜相机录视频可以超过一分钟吗(轻颜相机录视频没保存好可以找回吗)

    轻颜相机录视频可以超过一分钟吗(轻颜相机录视频没保存好可以找回吗)

  • 红米3x上市时间(红米3x出厂是哪个版本)

    红米3x上市时间(红米3x出厂是哪个版本)

  • 电池多久换一次(石英表电池多久换一次)

    电池多久换一次(石英表电池多久换一次)

  • 小米手机的睡眠模式建议开吗(小米手机的睡眠监测数据在哪里看)

    小米手机的睡眠模式建议开吗(小米手机的睡眠监测数据在哪里看)

  • 华为nova7se有没有呼吸灯(华为nova7se有没有红外线)

    华为nova7se有没有呼吸灯(华为nova7se有没有红外线)

  • atapi cdrom什么意思(cdrom什么意思啊)

    atapi cdrom什么意思(cdrom什么意思啊)

  • 为什么筛选显示不全(为什么筛选显示的信息不全)

    为什么筛选显示不全(为什么筛选显示的信息不全)

  • iphone xr怎么打开广角(iPhone xr怎么打开卡槽)

    iphone xr怎么打开广角(iPhone xr怎么打开卡槽)

  • office一般在哪个盘(office软件是哪个)

    office一般在哪个盘(office软件是哪个)

  • 高通八核处理器是骁龙多少(高通八核处理器能不能玩原神)

    高通八核处理器是骁龙多少(高通八核处理器能不能玩原神)

  • vivo手机sos怎么设置(vivo手机sos紧急呼叫怎么设置)

    vivo手机sos怎么设置(vivo手机sos紧急呼叫怎么设置)

  • 拼多多精选推荐能删除吗(拼多多精选推荐广告怎么关闭)

    拼多多精选推荐能删除吗(拼多多精选推荐广告怎么关闭)

  • 虾米音乐不能下到u盘吗(为什么虾米音乐下载的到不了本地音乐)

    虾米音乐不能下到u盘吗(为什么虾米音乐下载的到不了本地音乐)

  • 怎么替换输入法(如何替换输入法)

    怎么替换输入法(如何替换输入法)

  • 腾讯视频零流量传片(腾讯视频有流量怎么开启免流模式)

    腾讯视频零流量传片(腾讯视频有流量怎么开启免流模式)

  • 华为p系列nova区别(nova p系列 区别)

    华为p系列nova区别(nova p系列 区别)

  • etc使用过程中可以关掉手机蓝牙吗(etc设备可以充电么)

    etc使用过程中可以关掉手机蓝牙吗(etc设备可以充电么)

  • 智慧生命体yoyo怎么用(智慧生命体运用在那些方面)

    智慧生命体yoyo怎么用(智慧生命体运用在那些方面)

  •  oppo如何关闭全局搜索(oppo如何关闭全局)

    oppo如何关闭全局搜索(oppo如何关闭全局)

  • 怎么查19年以前税收
  • 未分配利润为负数可以提取盈余公积吗
  • 小规模纳税人不允许开具零税率发票
  • 个税申报截止日期2023年8月
  • 出口收入账务处理
  • 销售税金及附加含增值税吗
  • 现金支票 差旅费
  • 服务免税销售额
  • 政府补贴装修费怎么算
  • 出口退税进项抵扣了不退税可以吗
  • 销售款的印花税是按含税还是不含税价款申报?
  • 印花税的计税依据含增值税吗
  • 国家税务总局11号令
  • 奖金个人所得税筹划
  • 工程结算收入和应收账款的区别
  • 摊销合同取得成本分录
  • 企业的不征税收入用于支出所形成的资产,其计算的折旧
  • 资产减值损失能否在所得税税前扣除
  • 民办非企业单位属于什么类型
  • 银行财务软件用什么
  • 个人投资到企业的资金入什么科目
  • 购买基金会计核算
  • win7系统输入法切换快捷键
  • 华为手机hms提醒
  • 企业所得税汇算清缴操作流程
  • 政府的扶持资金是否缴税
  • 如何删除驱动器里面的文件
  • 铁杆茉莉的养殖方法
  • 如何清除苹果手机6s垃圾
  • 出口退税转内销的话如何算发票金额
  • 公司社保钱可以套出来吗
  • 会计的科类
  • 车保险理赔的钱多久到账
  • 不动产固定资产标识牌
  • 企业所得税的应纳税额计算公式
  • 购入固定资产后什么时候开始计提折旧
  • 增值税检查后的调账方法
  • 对公账户的银行卡号是几位数
  • 前端发起请求怎么设置
  • b站怎么进抖音模式
  • 业务宣传费列支合理性
  • chatb
  • css圆角边框弧度代码
  • 购进来的样品怎么账务处理
  • 企业职工薪酬如何确定
  • 帝国cms自定义列表
  • 企业营业税怎么征收
  • 企业贷款的条件和流程
  • 增值税发票查询全国统一发票查询平台
  • 税务局核定税种流程
  • 库存股会计处理流程
  • 开个人劳务票需要本人去吗
  • 损益类科目的账务处理
  • 交车险代收的车可以退吗
  • 将购进的材料用于自制生产用设备
  • 处置子公司如何合并
  • 业务招待费纳税筹划
  • 工资表明细表
  • 私营公司应付利息怎么算
  • windows历代版本一览
  • 虚拟机打开提示物理内存不足
  • safeplugin是什么软件
  • xp系统怎么装系统教程
  • macbookpro鼠标触控板
  • windows 8.1更新
  • windows8 defender
  • linux系统硬盘分区类型
  • windows10保存的文件一般在哪里
  • 分形图形学
  • opengl教程48讲
  • opengl纹理贴图图片位置
  • dos下如何复制文件
  • python快速上手 自动化
  • unity打包安卓apk
  • js 三元
  • 简述javascript的主要特点
  • python安装心得
  • 小规模纳税人开专票需要交税吗
  • 国税新规
  • 中国税务客服工作时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设