位置: IT常识 - 正文

机器学习--使用朴素贝叶斯进行垃圾邮件分类

编辑:rootadmin
机器学习--使用朴素贝叶斯进行垃圾邮件分类 一、学习背景垃圾邮件的问题一直困扰着人们,传统的垃圾邮件分类的方法主要有"关键词法"和"校验码法"等,然而这两种方法效果并不理想。其中,如果使用的是“关键词”法,垃圾邮件中如果这个关键词被拆开则可能识别不了,比如,“中奖”如果被拆成“中 --- 奖”可能会识别不了。后来,直到提出了使用“贝叶斯”的方法才使得垃圾邮件的分类达到一个较好的效果,而且随着邮件数目越来越多,贝叶斯分类的效果会更加好。我们想采用的分类方法是通过多个词来判断是否为垃圾邮件,但这个概率难以估计,通过贝叶斯公式,可以转化为求垃圾邮件中这些词出现的概率。二、贝叶斯公式贝叶斯定理 由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件 概率 之间的关系

已知两个独立事件A和B,事件B发生的前提下,事件A发生的概率可以表示为P(A|B),即上图中橙色部分占红色部分的比例,即:

推荐整理分享机器学习--使用朴素贝叶斯进行垃圾邮件分类,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

P(A) 称为”先验概率”,即在B事件发生之前,我们对A事件概率的一个判断。如:正常收到一封邮件,该邮件为垃圾邮件的概率就是“先验概率”P(A|B)称为”后验概率”, 即在B事件发生之后,我们对A事件概率的重新评估。如:邮件中含有“中奖”这个词,该邮件为垃圾邮件的概率就是“后验概率”P(B|A)/P(B)是可能性函数,这是一个调整因子,使得预估概率更接近真实概率。条件概率就是:后验概率 = 先验概率 x 调整因子因为要计算两次概率,关于它们的分母,是这个样本的属性在全部样本中的概率。而这两次计算,它们的分母是不变的,所以我们只要计算分子就行。于是有了下面的结论:即:

        朴素贝叶斯分类器(Naïve Bayes Classifier)采用了“属性条件独立性假设”,即每个属性独立地对分类结果发生影响。为方便公式标记,不妨记P(C=c|X=x)为P(c|x)。在假设每个属性都独立的情况下,贝叶斯公式可以修改为:分母是相同的,于是去掉分母,得:

最终我们利用这个公式,在代码中实现概率的计算来对样本进行分类。三、使用朴素贝叶斯进行垃圾邮件分类1.算法思路分类标准:当 P(垃圾邮件|文字内容)> P(正常邮件|文字内容)时,我们认为该邮件为垃圾邮件,但是单凭单个词而做出判断误差肯定相当大,因此我们可以将所有的词一起进行联合判断。假设我们进行判断的词语有“获奖”、“贷款”、“无利息”,则需要判断P(垃圾邮件|获奖,贷款,无利息)与P(正常|获奖,贷款,无利息),使用贝叶斯公式,P(垃圾邮件|获奖,贷款,无利息)可以变为:

假设所有词语独立同分布,可以得到机器学习--使用朴素贝叶斯进行垃圾邮件分类

同理可得P(正常|获奖,贷款,无利息)因此,对P(垃圾邮件|获奖,贷款,无利息)与P(正常|获奖,贷款,无利息)的比较,只需要对分子进行对比。但是如果对多个词的P(内容|正常/垃圾)进行相乘时,可能会因为某个词的概率很小从而导致最后的结果为0(超出计算机的精度),因此可以对P(内容|正常/垃圾)取自然对数,即ln P(内容|正常/垃圾)。因此可以变为

 

2.数据集准备数据来源于国外的一些垃圾邮件和正常邮件

   

        其中ham是正常邮件,spam是垃圾邮件。 3.数据导入import osimport reimport stringimport mathDATA_DIR = 'enron'target_names = ['ham', 'spam']def get_data(DATA_DIR): subfolders = ['enron%d' % i for i in range(1,7)] #获得enron下面的文件夹 data = [] target = [] for subfolder in subfolders: #垃圾邮件 spam spam_files = os.listdir(os.path.join(DATA_DIR, subfolder, 'spam')) #将文件夹路径进行组合 for spam_file in spam_files: #遍历所有垃圾文件 with open(os.path.join(DATA_DIR, subfolder, 'spam', spam_file), encoding="latin-1") as f: data.append(f.read()) target.append(1) #正常邮件 pam ham_files = os.listdir(os.path.join(DATA_DIR, subfolder, 'ham')) for ham_file in ham_files: with open(os.path.join(DATA_DIR, subfolder, 'ham', ham_file), encoding="latin-1") as f: data.append(f.read()) target.append(0) return data, targetX, y = get_data(DATA_DIR)#print(X,y)邮件内容存储在data中,标签存储在target当中,“1”表示为垃圾邮件,“0”表示为正常邮件。下图为截取部分结果。

4.分析数据并进行算法训练定义一个类对数据进行预处理class SpamDetector_1(object): #清除空格 def clean(self, s): translator = str.maketrans("", "", string.punctuation) return s.translate(translator) #分开每个单词 def tokenize(self, text): text = self.clean(text).lower() return re.split("\W+", text) #计算某个单词出现的次数 def get_word_counts(self, words): word_counts = {} for word in words: word_counts[word] = word_counts.get(word, 0.0) + 1.0 return word_counts计算P(垃圾邮件)和P(正常邮件);词汇表(即正常邮件和垃圾邮件中出现的所有单词,方便进行拉普拉斯平滑);垃圾邮件和非垃圾邮件的词频,即给定词在垃圾邮件和非垃圾邮件中出现的次数。选取了第100封之后的邮件作为训练集,前面一百封邮件作为测试集。class SpamDetector_2(SpamDetector_1): # X:data,Y:target标签(垃圾邮件或正常邮件) def fit(self, X, Y): self.num_messages = {} self.log_class_priors = {} self.word_counts = {} # 建立一个集合存储所有出现的单词 self.vocab = set() # 统计spam和ham邮件的个数 self.num_messages['spam'] = sum(1 for label in Y if label == 1) self.num_messages['ham'] = sum(1 for label in Y if label == 0) # 计算先验概率,即所有的邮件中,垃圾邮件和正常邮件所占的比例 self.log_class_priors['spam'] = math.log( self.num_messages['spam'] / (self.num_messages['spam'] + self.num_messages['ham'])) self.log_class_priors['ham'] = math.log( self.num_messages['ham'] / (self.num_messages['spam'] + self.num_messages['ham'])) self.word_counts['spam'] = {} self.word_counts['ham'] = {} for x, y in zip(X, Y): c = 'spam' if y == 1 else 'ham' # 构建一个字典存储单封邮件中的单词以及其个数 counts = self.get_word_counts(self.tokenize(x)) for word, count in counts.items(): if word not in self.vocab: self.vocab.add(word)#确保self.vocab中含有所有邮件中的单词 # 下面语句是为了计算垃圾邮件和非垃圾邮件的词频,即给定词在垃圾邮件和非垃圾邮件中出现的次数。 # c是0或1,垃圾邮件的标签 if word not in self.word_counts[c]: self.word_counts[c][word] = 0.0 self.word_counts[c][word] += countMNB = SpamDetector_2()MNB.fit(X[100:], y[100:])5.测试算法 对测试集进行测试,判断是垃圾邮件还是正常邮件,并计算出准确度class SpamDetector(SpamDetector_2): def predict(self, X): result = [] flag_1 = 0 # 遍历所有的测试集 for x in X: counts = self.get_word_counts(self.tokenize(x)) # 生成可以记录单词以及该单词出现的次数的字典 spam_score = 0 ham_score = 0 flag_2 = 0 for word, _ in counts.items(): if word not in self.vocab: continue #下面计算P(内容|垃圾邮件)和P(内容|正常邮件),所有的单词都要进行拉普拉斯平滑 else: # 该单词存在于正常邮件的训练集和垃圾邮件的训练集当中 if word in self.word_counts['spam'].keys() and word in self.word_counts['ham'].keys(): log_w_given_spam = math.log( (self.word_counts['spam'][word] + 1) / (sum(self.word_counts['spam'].values()) + len(self.vocab))) log_w_given_ham = math.log( (self.word_counts['ham'][word] + 1) / (sum(self.word_counts['ham'].values()) + len( self.vocab))) # 该单词存在于垃圾邮件的训练集当中,但不存在于正常邮件的训练集当中 if word in self.word_counts['spam'].keys() and word not in self.word_counts['ham'].keys(): log_w_given_spam = math.log( (self.word_counts['spam'][word] + 1) / (sum(self.word_counts['spam'].values()) + len(self.vocab))) log_w_given_ham = math.log( 1 / (sum(self.word_counts['ham'].values()) + len( self.vocab))) # 该单词存在于正常邮件的训练集当中,但不存在于垃圾邮件的训练集当中 if word not in self.word_counts['spam'].keys() and word in self.word_counts['ham'].keys(): log_w_given_spam = math.log( 1 / (sum(self.word_counts['spam'].values()) + len(self.vocab))) log_w_given_ham = math.log( (self.word_counts['ham'][word] + 1) / (sum(self.word_counts['ham'].values()) + len( self.vocab))) # 把计算到的P(内容|垃圾邮件)和P(内容|正常邮件)加起来 spam_score += log_w_given_spam ham_score += log_w_given_ham flag_2 += 1 # 最后,还要把先验加上去,即P(垃圾邮件)和P(正常邮件) spam_score += self.log_class_priors['spam'] ham_score += self.log_class_priors['ham'] # 最后进行预测,如果spam_score > ham_score则标志为1,即垃圾邮件 if spam_score > ham_score: result.append(1) else: result.append(0) flag_1 += 1 return resultMNB = SpamDetector()MNB.fit(X[100:], y[100:])pred = MNB.predict(X[:100])true = y[:100]accuracy = 0for i in range(100): if pred[i] == true[i]: accuracy += 1print(accuracy) 最后得到准确率为99%

本文链接地址:https://www.jiuchutong.com/zhishi/298743.html 转载请保留说明!

上一篇:普通二本,去过阿里外包,到现在年薪40W+的高级测试工程师,我的两年转行心酸经历...(考到二本)

下一篇:vue系列(三)——手把手教你搭建一个vue3管理后台基础模板(vue系列教程)

  • 微信删了人怎么还可以收到对方的消息(微信删了人怎么加回来对方不知道)

    微信删了人怎么还可以收到对方的消息(微信删了人怎么加回来对方不知道)

  • 抖音私聊会不会影响自己的账号(抖音私聊会不会被平台保存)

    抖音私聊会不会影响自己的账号(抖音私聊会不会被平台保存)

  • 对路径的访问被拒绝怎么办?(对路径的访问被拒绝是什么原因)

    对路径的访问被拒绝怎么办?(对路径的访问被拒绝是什么原因)

  • 飞行模式可以用流量吗(飞行模式可以用wifi上网吗)

    飞行模式可以用流量吗(飞行模式可以用wifi上网吗)

  • 大众点评商家能不能看到差评客户信息(大众点评商家能看到用户浏览记录么)

    大众点评商家能不能看到差评客户信息(大众点评商家能看到用户浏览记录么)

  • 换完手机屏后绑橡皮筋多长时间松开(换完手机屏绑多长时间比较好)

    换完手机屏后绑橡皮筋多长时间松开(换完手机屏绑多长时间比较好)

  • 小米手表无法使用蓝牙手机音频功能(小米手表无法使用应用商店)

    小米手表无法使用蓝牙手机音频功能(小米手表无法使用应用商店)

  • 抖音粉丝未授权是什么意思(为什么抖音有些粉丝未授权看不到)

    抖音粉丝未授权是什么意思(为什么抖音有些粉丝未授权看不到)

  • 苹果手机电池最大容量怎么恢复(苹果手机电池最大容量多久掉1%正常)

    苹果手机电池最大容量怎么恢复(苹果手机电池最大容量多久掉1%正常)

  • 爱奇艺为什么不能快进(爱奇艺为什么不能全屏看?)

    爱奇艺为什么不能快进(爱奇艺为什么不能全屏看?)

  • 华为jkmal00b参数(华为jkmal00b华为手机什么型号)

    华为jkmal00b参数(华为jkmal00b华为手机什么型号)

  • 苹果无线耳机防汗吗(苹果无线耳机防汗水吗)

    苹果无线耳机防汗吗(苹果无线耳机防汗水吗)

  • 芒果tv怎么改绑定手机(芒果tv怎么换绑)

    芒果tv怎么改绑定手机(芒果tv怎么换绑)

  • word把横排字弄成竖排(word如何让横排的字变竖排)

    word把横排字弄成竖排(word如何让横排的字变竖排)

  • vivo手机锁屏在哪设置(vivo手机锁屏在哪里打开)

    vivo手机锁屏在哪设置(vivo手机锁屏在哪里打开)

  • 手机电池充不进电如何修复(手机电池充不进去电了)

    手机电池充不进电如何修复(手机电池充不进去电了)

  • 手机微信如何解冻(手机微信如何解绑手机号)

    手机微信如何解冻(手机微信如何解绑手机号)

  • 互联星空费怎么退订(互联星空怎么登陆)

    互联星空费怎么退订(互联星空怎么登陆)

  • 3600带核显吗(r53600带核显吗)

    3600带核显吗(r53600带核显吗)

  • 苹果xr可以用无线充电器吗(苹果xr可以用无线网卡吗)

    苹果xr可以用无线充电器吗(苹果xr可以用无线网卡吗)

  • 美团签到现金券用不了(美团签到现金券没有到账)

    美团签到现金券用不了(美团签到现金券没有到账)

  • vivoiqoo什么时候上市(vivoiqoo什么时候生产的)

    vivoiqoo什么时候上市(vivoiqoo什么时候生产的)

  • 小米手机删除的软件怎么找回(小米手机删除的短信怎么恢复)

    小米手机删除的软件怎么找回(小米手机删除的短信怎么恢复)

  • 网易考拉如何解绑微信(网易考拉解除支付宝)

    网易考拉如何解绑微信(网易考拉解除支付宝)

  • 摄像头水雾快速去除法(摄像头水雾会自动消失吗)

    摄像头水雾快速去除法(摄像头水雾会自动消失吗)

  • 索尼手机如何辨别真假(索尼手机怎么看是不是翻新机)

    索尼手机如何辨别真假(索尼手机怎么看是不是翻新机)

  • mediaaccess.exe是什么进程 有什么作用  mediaaccess进程查询(mediacache是什么文件夹)

    mediaaccess.exe是什么进程 有什么作用 mediaaccess进程查询(mediacache是什么文件夹)

  • 基于pyecharts的中医药知识图谱可视化(pyecharts怎么用)

    基于pyecharts的中医药知识图谱可视化(pyecharts怎么用)

  • 退个税手续费增值税怎么计算
  • 房地产耕地占用税实施细则
  • 什么是明细分类账簿
  • 免费样品需要交印花税吗
  • 个人对个人大额转账要什么资料
  • 企业会计准则颁布部门
  • 公司现金支票取钱需要带什么资料
  • 购买金税盘需要带什么
  • 转让固定资产发生的费用可以税前扣除吗
  • 签了合同后又要收额外费用
  • 房产空置怎么判定
  • 已核销的贷款收回计入什么科目
  • 建安业核定征收利润率
  • 商业营业用房经营租赁税率是多少
  • 交叉持股的合并财务报表
  • 承兑汇票贴单怎么贴
  • 工程项目管理人员任命书
  • 公务费和业务费怎么算
  • 发票查出来显示不一致是为啥
  • 高新企业研发项目
  • 电脑开机弹出documents文件夹
  • 发票需要写真名吗
  • 微软推出windows1
  • 平时发票未上传怎么回事
  • Windows11电脑更新后冲不上电
  • rmb转
  • ac1203路由器
  • 今天春节是什么生肖
  • 科罗拉多斯普林斯海拔
  • 用gpu运行python
  • laravel实战教程
  • 电费打发票用哪个软件
  • uniapp前端面试题
  • 工会经费怎么上缴
  • 社保断交一个月但是后面正常缴费
  • 如何移除白名单的电话号码
  • mysql一次io
  • 出租车手撕票可以税前扣除吗
  • 劳动仲裁赔偿款会计分录
  • 银行对账单和存款日记账怎样核对并标识
  • 不动产登记机构应当履行下列职责?
  • 管理费用算营业外支出吗
  • 工程进度节点奖励考核
  • 预收账款和预付账款科目都是资产类科目
  • 内部债权债务的抵消分录
  • 对以前年度的收入怎么算
  • 买车的车
  • 货物破损怎么写会计分录
  • 去年的增值税专用发票可以重开吗
  • 一般纳税人可抵扣的票证有哪些?
  • 存货设置的顺序和内容
  • windows7录音怎么录
  • win10开机内存就占了70 解决方法
  • windows10 rs2
  • gpt分区方法
  • win7怎么免费升级win11
  • xp系统怎么关闭fn
  • linux系统中用户账户有哪些分类
  • centos怎么安装软件包
  • 在Linux系统中如何打开R语言控制台
  • win7系统出现蓝屏怎么进去桌面
  • win7不识别大于4T的盘
  • linux apache怎么启动
  • windows10预览版是什么
  • linux入门很简单
  • linux 744
  • bat脚本怎么运行
  • javascript sort排序
  • MVC Ajax Helper或Jquery异步加载部分视图
  • shell脚本中执行命令语句
  • js网页自动化
  • Node.js中的什么模块是用于处理文件和目录的
  • 占位符设置
  • js中不同的height, top的区别对比
  • unity如何成一组
  • python pygame模块详解
  • JavaScript获取网页内容
  • python操作数据库语句
  • 国家税务局网上电子税务局官网天津
  • 税务局打印申报表
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设