位置: IT常识 - 正文

Python实现朴素贝叶斯分类器(用python编写素数)

编辑:rootadmin
Python实现朴素贝叶斯分类器 朴素贝叶斯分类器文章目录朴素贝叶斯分类器一、贝叶斯分类器是什么?贝叶斯判定准则朴素贝叶斯分类器举个栗子二、相关代码1.数据处理2.生成朴素贝叶斯表(字典)关于如何判断属性的连续或离散性根据朴素贝叶斯表计算预测标签总结一、贝叶斯分类器是什么?

推荐整理分享Python实现朴素贝叶斯分类器(用python编写素数),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python purple,python素数,用python编写素数,python怎么素数,python求素数算法,python purple,python求素数算法,python purple,内容如对您有帮助,希望把文章链接给更多的朋友!

贝叶斯分类器是以贝叶斯决策论为基础的一类分类器。和频率决策论不同,贝叶斯决策论使用后验概率来计算将某个数据data分类为某一类c的风险概率。对分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯判定准则

假设对于数据集D,有N种可能的类别标记,即Y={c1,c2...cn,}Y=\{c_{1},c_{2}...c_{n},\}Y={c1​,c2​...cn​,},λij\lambda_{ij}λij​是将一个真实标记为cjc_{j}cj​的样本误分类为cic_{i}ci​的损失,基于后验概率P(ci∣x)P(c_{i}|x)P(ci​∣x)可获得将样本x分类为cic_{i}ci​所产生的期望损失,即在样本x上的“条件概率”。R(ci∣x)=∑j=iNλijP(cj∣x)R(c_{i}|x)=\sum^{N}_{j=i}{\lambda_{ij}P(c_{j}|x)}R(ci​∣x)=j=i∑N​λij​P(cj​∣x) 我们的任务就是寻找一个判定标准h:X→Yh:X\rightarrow Yh:X→Y以最小化总体风险。 R(h)=Ex[R(h(x)∣x)]R(h)=E_{x}[R(h(x)|x)]R(h)=Ex​[R(h(x)∣x)] 对于每个样本x,若h能以最小化条件风险R(h(x)|x),则总体风险R(h)也将被最小化。这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记,即h∗(x)=argminc∈YR(c∣x)h^{*}(x)=arg\quad min_{c\in Y}{R(c|x)}h∗(x)=argminc∈Y​R(c∣x)此时,h∗h^{*}h∗称为贝叶斯最优分类器,与之对应的总体风险R(h*)称为在贝叶斯风险。 具体来说,若目标是最小化分类风险,那么 λij={ifi=j1otherwise\lambda_{ij}=\begin{cases}0&if\quad i=j\\1&otherwise\end{cases}λij​={01​ifi=jotherwise​ 此时条件风险R(c∣x)=1−P(c∣x)R(c|x)=1-P(c|x)R(c∣x)=1−P(c∣x)于是,最小化分类错误率的贝叶斯最优分类器为h∗(x)=argmaxc∈YP(c∣x)(1.1)h^{*}(x)=arg\quad max_{c\in Y}P(c|x)\quad(1.1)h∗(x)=argmaxc∈Y​P(c∣x)(1.1) ,即对每个样本x,选择能使后验概率P(c∣x)P(c|x)P(c∣x)最大的类别标记。基于贝叶斯定理,P(c∣x)P(c|x)P(c∣x)可写为P(c∣x)=P(c)P(x∣c)P(x)(1.2)P(c|x)=\dfrac{P(c)P(x|c)}{P(x)}\quad(1.2)P(c∣x)=P(x)P(c)P(x∣c)​(1.2),其中,P(c)P(c)P(c)是类“先验(prior)”概率;P(x∣c)P(x|c)P(x∣c)是样本x相对于类别标记c的条件概率。

朴素贝叶斯分类器

不难发现,基于贝叶斯公式来估计后验概率P(c∣x)P(c|x)P(c∣x)的主要难度在于类条件概率P(x∣c)P(x|c)P(x∣c)是所有属性的联合概率,难以从有限的训练集上进行直接计算。为了避开这个坑,朴素贝叶斯分类器的做法是,假设所有属性都互相独立。那么,基于属性条件独立假设,式(1.2)可重写为 P(c∣x)=P(c)P(x)∏i=1dP(xi∣c)(1.3)P(c|x)=\dfrac{P(c)}{P(x)}\prod^{d}_{i=1}{P(x_{i}|c)}\quad(1.3)P(c∣x)=P(x)P(c)​i=1∏d​P(xi​∣c)(1.3) 其中ddd为属性数目,xix_{i}xi​为x\mathbf{x}x在第iii个属性上的取值。 由于对于所有类别来说P(x)P(x)P(x)相同,因此基于式(1.1)的贝叶斯判定准则有hnb(x)=argmaxc∈YP(c)∏i=1dP(xi∣c)h_{nb}(x)=argmax_{c\in Y}P(c)\prod^{d}_{i=1}P(x_{i}|c)hnb​(x)=argmaxc∈Y​P(c)i=1∏d​P(xi​∣c)。 显然,朴素贝叶斯分类器的训练过程就是基于训练集D来估计先验概率P(c)P(c)P(c),并为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)。令DcD_{c}Dc​表示训练集D种第ccc类样本组成的集合,若有充足的独立同分布样本,则可容易地估计出类先验概率P(c)=∣Dc∣∣D∣P(c)=\dfrac{|D_{c}|}{|D|}P(c)=∣D∣∣Dc​∣​。 对于离散属性而言,令Dc,xiD_{c,x_{i}}Dc,xi​​表示DcD_{c}Dc​中在第iii个属性上取值为xix_{i}xi​的样本组成的集合,则条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c)可估计为P(xi∣c)=∣Dc,xi∣∣Dc∣P(x_{i}|c)=\dfrac{|D_{c,x_{i}}|}{|D_{c}|}P(xi​∣c)=∣Dc​∣∣Dc,xi​​∣​。 对于连续属性可考虑概率密度函数,假定p(xi∣c) N(μc,i,σc,i2)p(x_{i}|c)~\mathcal{N}(\mu_{c,i},\sigma^{2}_{c,i})p(xi​∣c) N(μc,i​,σc,i2​),其中μc,i\mu_{c,i}μc,i​和σc,i2\sigma^{2}_{c,i}σc,i2​分别是第ccc类样本在第iii个属性上取值的均值和方差,则有p(xi∣c)=12πσc,iexp(−(xi−μc,i)22σc,i2)p(x_{i}|c)=\dfrac{1}{\sqrt{2\pi }\sigma_{c,i}}exp(-\dfrac{(x_{i}-\mu_{c,i})^{2}}{2\sigma^{2}_{c,i}})p(xi​∣c)=2π​σc,i​1​exp(−2σc,i2​(xi​−μc,i​)2​)

举个栗子Python实现朴素贝叶斯分类器(用python编写素数)

如上图所示的西瓜数据集,对测试样例编号1进行分类。对于先验概率P(c)P(c)P(c),有P(好瓜=是)=817P(好瓜=是)=\dfrac{8}{17}P(好瓜=是)=178​P(好瓜=否)=917P(好瓜=否)=\dfrac{9}{17}P(好瓜=否)=179​ 然后为每个属性估计条件概率P(xi∣c)P(x_{i}|c)P(xi​∣c): P青绿∣是=P(色泽=青绿∣好瓜=是)=38P_{青绿|是}=P(色泽=青绿|好瓜=是)=\dfrac{3}{8}P青绿∣是​=P(色泽=青绿∣好瓜=是)=83​ P蜷缩∣是=P(根蒂=蜷缩∣好瓜=是)=58P_{蜷缩|是}=P(根蒂=蜷缩|好瓜=是)=\dfrac{5}{8}P蜷缩∣是​=P(根蒂=蜷缩∣好瓜=是)=85​… p密度:0.697∣是=p(密度=0.697∣好瓜=是)=12π∗0.129exp(−(0.697−0.574)22∗0.1292)p_{密度:0.697|是}=p(密度=0.697|好瓜=是)=\dfrac{1}{\sqrt{2\pi}*0.129}exp(-\dfrac{(0.697-0.574)^{2}}{2*0.129^{2}})p密度:0.697∣是​=p(密度=0.697∣好瓜=是)=2π​∗0.1291​exp(−2∗0.1292(0.697−0.574)2​) 其余属性条件概率略 最后,P(好瓜=是)≈0.063P(好瓜=是)\approx 0.063P(好瓜=是)≈0.063 P(好瓜=否)≈6.80∗1−5P(好瓜=否)\approx 6.80*10^{-5}P(好瓜=否)≈6.80∗10−5 由于0.063>6.80∗1−50.063>6.80*10^{-5}0.063>6.80∗10−5因此将样例1判定为“好瓜”。

二、相关代码1.数据处理

该数据集是我通过西瓜书上的西瓜数据集随机生成的10000条数据。需要的评论留言。

代码如下(示例):

import numpy as npimport pandas as pddata=pd.read_csv("DataOrDocu/NewWatermelon2.csv",index_col=0)attributes=data.columnspath="DataOrDocu/PosterProbDict.npy"feature=data[:,:-1]label=data[:,-1]featureTrain,featureTest,labelTrain,labelTest=train_test_split(feature,label,train_size=0.7,random_state=10)labelTrain=np.reshape(labelTrain,(labelTrain.shape[0],1))labelTest=np.reshape(labelTest,(labelTest.shape[0],1))dataTrain=np.concatenate((featureTrain,labelTrain),axis=1)dataTrain=pd.DataFrame(dataTrain,columns=attributes,index=None)dataTest=np.concatenate((featureTest,labelTest),axis=1)dataTest=pd.DataFrame(dataTest,columns=attributes,index=None)2.生成朴素贝叶斯表(字典)

逻辑很简单,即根据式(1.3),先计算《好瓜=是|否》的先验概率,即P(好瓜=是)P(好瓜=是)P(好瓜=是)和P(好瓜=否)P(好瓜=否)P(好瓜=否),并以字典形式返回。然后计算各种条件概率比如P(色泽=青绿∣好瓜=是)P(色泽=青绿|好瓜=是)P(色泽=青绿∣好瓜=是)等等,如果是离散属性,那么保存P(a=ai∣好瓜=是or否)P(a=a_{i}|好瓜=是or否)P(a=ai​∣好瓜=是or否)等一系列条件概率;如果是连续属性,那么保存p好瓜,属性ap_{好瓜,属性a}p好瓜,属性a​的均值和方差。最后,将生成的字典保存成npy文件,方便后续使用。

关于如何判断属性的连续或离散性

此外,有一个问题其中有一个函数,用于判断某个属性是离散属性还是连续属性,我考虑了2种方案,但实际上并不都是完美的逻辑,只是针对具体的数据集具有逻辑的相对完备性。一是判断数据是否为字符类型,一般字符类型将其判断为离散属性,其他判断为连续属性,但很容易在其他数据集上发现例外;二是计算某属性的所有数据集中包含的值的所有种类,如果种类数量<一定的范围,那么,我即认定为其为离散值,大于该范围的,认定其为连续值。但当遇到稀疏数据时,此类办法也会经常失效。

具体代码如下:

import numpy as npdef PosteriorProbDivided(data,attributes,label,path): priorProba={} length=data.shape[0] labelKinds=KindsGet(data,label) #获取标签的所有类别 posterProbTable={} try: for i in labelKinds: dataTemp=data.loc[data[label]==i] tempLength=dataTemp.shape[0] tempPrior=tempLength/length priorProba.update({i:tempPrior}) tempAttr = {} # 用于保存所有属性的条件概率 for j in attributes: if IfDivideAttr(data,j): tempPosterProb=DivCondiProba(data,j,length) tempAttr.update({j:tempPosterProb}) #将该属性的条件概率保存 else: averageVar=ContiCondiProba(data,j) #如果该属性是连续值,那么将该属性的平均值和方差求出,并保存 tempAttr.update({j:averageVar}) posterProbTable.update({i:tempAttr}) try: np.save(path,posterProbTable) except FileExistsError as error: print(error) return priorProba except IndexError as error: print(error)def IfDivideAttr(data,attribute): #第一种判断属性离散还是连续的函数 values=np.unique(data[attribute]).shape[0] #获取某一属性的值的种类 length=data.shape[0] if values!=0: if values<=length/10: #如果某一属性的取值数量小于等于总数据量的十分之一,即判定其为离散值 return True else: return Falsedef IfDivideAttr2(data,attribute): #第二种判断属性离散还是连续的函数 return not isinstance(data[attribute],float)def KindsGet(data,attribute): #用于将离散属性的所有值返回 if IfDivideAttr(data,attribute): values=np.unique(np.array(data[attribute])) return values return Nonedef DivCondiProba(data,attribute,length): #计算某一离散属性的条件概率 tempAttrValues = KindsGet(data, attribute) tempPosterProb = {} # 用于保存某一属性的后验概率 for k in tempAttrValues: tempAttrPoster = data.loc[data[attribute] == k].shape[0] / length # 计算出当某属性a的值为k时,其在标签c上的条件概率P(k|c),并将其压进列表 tempPosterProb.update({k: tempAttrPoster}) return tempPosterProbdef ContiCondiProba(data,attribute): #计算某一连续属性的平均值和方差 contiValue=data[attribute] contiValue=np.array(contiValue) average=np.average(contiValue) variance=np.var(contiValue) return average,variance根据朴素贝叶斯表计算预测标签

针对某个数据的每一个属性对应的值,如果是离散属性,那么就从表中获取,如果是离散属性,那么就根据表中的均值和方差计算条件概率。但是区别于式(1.3),在程序中我对连乘做了一个取对数,防止指数爆炸(方正就是防止差距过大)。然后一个判断正确率的函数,单纯计算预测数据中的正确比例。

def PosteriorFind(data,posterProbTabel,priorProba): #用于计算某单个数据的最后标签 posterValues=[] #用于保存每一个标签的后验概率 bayesProba=0 for label in posterProbTabel: for attribute in posterProbTabel[label]: # attrValue=list(attribute.keys())[0] #取出字典键值对中的健 if IfDivideAttr2(data,attribute): tempValue=np.log(posterProbTabel[label][attribute][data[attribute]]) bayesProba+=tempValue else: averageVar=posterProbTabel[label][attribute] xi=data[attribute] average,variance=averageVar[0],averageVar[1] tempValue=1/(np.square(2*pi)*variance)*np.exp(-(xi-average)**2/2*variance**2) tempValue=np.log(tempValue) bayesProba+=tempValue labelKey=label #取出label的key labelPrior=priorProba[labelKey] bayesProba+=np.log(labelPrior) #将该循环内的标签c所对应的先验概率加入其中 posterValues.append(bayesProba) bayesProba=0 posterDict=zip(posterValues,list(posterProbTabel.keys())) posterDict=dict(posterDict) bestValue=np.max(posterValues) bestLabel=posterDict[bestValue] return bestLabeldef AccCal(data,label,PosterProbaTabel,priorProba): length=data.shape[0] acc=0 for i in range(data.shape[0]): labelPre=PosteriorFind(data.loc[i],PosterProbaTabel,priorProba) if labelPre==data[label][i]: acc+=1 ratio=acc/length return ratio总结

使用随机生成的10000条数据,按照0.7训练集,0.3测试集的比例。最后的正确率大概是百分之四十几 之后又使用了一下鸢尾花的数据集 结果如下正确率是百分之三十一(可以说是很辣鸡了 最后附上sklearn的高斯贝叶斯和决策树跑鸢尾花的正确率 要不怎么说人家是专业的呢(doge

本文链接地址:https://www.jiuchutong.com/zhishi/300623.html 转载请保留说明!

上一篇:YOLOv5|YOLOv7|YOLOv8改各种IoU损失函数:YOLOv8涨点Trick,改进添加SIoU损失函数、EIoU损失函数、GIoU损失函数、α-IoU损失函数

下一篇:Copilot 初体验(pilot coat)

  • 抖音怎么置顶关注(抖音怎么置顶关注的人评论)

    抖音怎么置顶关注(抖音怎么置顶关注的人评论)

  • 华为手机怎么注销qq号(华为手机怎么注册微信)

    华为手机怎么注销qq号(华为手机怎么注册微信)

  • 苹果11换屏幕提示怎么取消(苹果11换屏幕提示)

    苹果11换屏幕提示怎么取消(苹果11换屏幕提示)

  • iphone8一晚上掉电30(iphone8一晚上掉50电量)

    iphone8一晚上掉电30(iphone8一晚上掉50电量)

  • 为什么发到朋友圈的视频不清晰(为什么发到朋友圈的视频会压缩了)

    为什么发到朋友圈的视频不清晰(为什么发到朋友圈的视频会压缩了)

  • tplogincn怎么进不了页面(tplogincn为啥进不去)

    tplogincn怎么进不了页面(tplogincn为啥进不去)

  • 没有字如何删除空白页(word怎么删除没有字的行)

    没有字如何删除空白页(word怎么删除没有字的行)

  • 抖音企业号昵称能改吗(抖音企业号昵称修改不通过)

    抖音企业号昵称能改吗(抖音企业号昵称修改不通过)

  • rip规定一条通路上最多可包含的路由器数量是(rip允许一条路径最多只能包含)

    rip规定一条通路上最多可包含的路由器数量是(rip允许一条路径最多只能包含)

  • 手机需要阻止cookie吗(手机阻止弹窗在哪关闭)

    手机需要阻止cookie吗(手机阻止弹窗在哪关闭)

  • 苹果手机相册照片删除不了(苹果手机相册照片顺序怎么调整)

    苹果手机相册照片删除不了(苹果手机相册照片顺序怎么调整)

  • 台式电脑静电开不了机(台式电脑静电开机没反应)

    台式电脑静电开不了机(台式电脑静电开机没反应)

  • 苹果11怎么没有电池百分比显示(苹果11怎么没有nfc功能)

    苹果11怎么没有电池百分比显示(苹果11怎么没有nfc功能)

  • 快手加入粉丝团最高几级(快手加入粉丝团有什么好处)

    快手加入粉丝团最高几级(快手加入粉丝团有什么好处)

  • 华为畅享8e青春版怎么录屏(华为畅享8e青春版怎么恢复出厂设置)

    华为畅享8e青春版怎么录屏(华为畅享8e青春版怎么恢复出厂设置)

  • oppo短信设置在哪(oppo短信功能设置)

    oppo短信设置在哪(oppo短信功能设置)

  • 华为mate30是双系统吗(华为mate30双系统怎么关闭)

    华为mate30是双系统吗(华为mate30双系统怎么关闭)

  • 停机的手机号如何恢复(停机的手机号如何恢复移动)

    停机的手机号如何恢复(停机的手机号如何恢复移动)

  • 微信电话录音如何打开(微信电话如何录音)

    微信电话录音如何打开(微信电话如何录音)

  • 华为nova5pro怎么区域截屏(华为nova5pro怎么分屏)

    华为nova5pro怎么区域截屏(华为nova5pro怎么分屏)

  • 360扩展器怎么设置(360扩展器怎么设置视频)

    360扩展器怎么设置(360扩展器怎么设置视频)

  • 金溢etc怎么连接蓝牙(金溢etc安装方法图解)

    金溢etc怎么连接蓝牙(金溢etc安装方法图解)

  • 荣耀v系列和数字系区别(荣耀v系列和数字系列区别)

    荣耀v系列和数字系区别(荣耀v系列和数字系列区别)

  • 华为mate20x防水吗

    华为mate20x防水吗

  • Linux系统中开起和关闭用户的磁盘空间限制的命令(linux开启)

    Linux系统中开起和关闭用户的磁盘空间限制的命令(linux开启)

  • 【蓝桥杯Web】2022年第十三届蓝桥杯Web大学组省赛真题解析(精华版)(蓝桥杯官网报名2020)

    【蓝桥杯Web】2022年第十三届蓝桥杯Web大学组省赛真题解析(精华版)(蓝桥杯官网报名2020)

  • 留抵税额做进项转出怎么做分录
  • 增值税专用发票抵扣期限
  • 减值准备为什么影响利润总额
  • 契税和房产税的减免政策
  • 网络文化传媒公司名字
  • 计提坏账准备需要纳税调增吗
  • 分支机构如何领购发票
  • 转让折旧怎么算
  • 营业收入管理也是企业财务管理的基本内容
  • 长期待摊费用当月增加当月摊销吗
  • 不需要缴纳企业所得税的企业类型
  • 企业所得税需要调整的有什么科目
  • 小微企业所得税优惠政策最新2023
  • 企业购买银行理财会亏吗
  • 土地使用税每年都交还是交一次
  • 政府补助怎么开票入账
  • 钢化玻璃税率是多少?
  • 固定资产评估增值
  • 兼兼的意思
  • 金融合同违约金罚息
  • 个人土地征收款协议模板
  • 研发费用费用化金额和资本化金额有什么区别
  • 公司的电话费计入什么科目
  • 汇缴交的所得税如何做账
  • bios设置启动顺序(图解说明)
  • 销售差异计算公式
  • 公司必须开基本户才能开发票吗
  • 会计结算要求
  • win7系统中怎么找不到投影仪
  • .ini是什么类型文件?
  • 森林里雾气弥漫,给大家带来了什么困难?
  • 资产收购的账务处理办法
  • 单位和个人交付的区别
  • 超过小规模纳税人标准能不转一般纳税人吗?
  • 公立医院增值税抵扣
  • 劳务费开发票后还需要交个税吗
  • 会计劳保用品有哪些东西呢
  • ChatGPT遭禁用、抵制后又停止Plus付费发生了?
  • nodejs.org
  • read命令 linux
  • 累计折旧当月增加当月减少
  • 开发商提供物业用房的法律依据
  • 固定资产改扩建和大修理的区别
  • 制造费用结转本年利润吗
  • 收到政府扶贫款如何做分录
  • 如何设置固定资产累计折旧增值税进项税额缺损入账科目
  • 小企业期间费用包括
  • sqlserver游标实例
  • 外购商品发放给员工 进项税额能不能抵扣
  • 公积金个人缴纳和公司缴纳比例
  • 事业单位利息收入的正确分录
  • 清理固定资产的税费
  • 确认收入时,也必须确认资产或债务
  • 年终奖都有啥
  • 进口增值税已付什么意思
  • 自产产品发给职工做福利的会计处理
  • 税控盘费用进什么科目
  • 以存货抵偿债务
  • VMWare linux mysql 5.7.13安装配置教程
  • 抢先体验的游戏可以退款吗
  • win7隐藏账户
  • win10系统如何查找文件
  • sgbhp.exe - sgbhp是什么进程 有什么用
  • windows7使用
  • 在Linux系统中安装虚拟window
  • linux命令eof
  • bootstrap栅格布局
  • 并行执行的符号
  • JavaScript中常用的数据类型有
  • javascript中window.event事件用法详解
  • node.js mac
  • android 加载大量图片
  • jquery table
  • 增值税0申报操作流程
  • 定期定额纳税申报表应税项应填哪个数
  • 扣税1.5万
  • 生产企业出口退税申报流程操作
  • 合肥哪里可以注销电信卡
  • 南通地税电话号码
  • 北京国税查询发票真伪查询系统
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设