位置: IT常识 - 正文

Sklearn GridSearchCV跑SVM很慢或卡死解决办法,SVM线性核函数卡死

编辑:rootadmin
Sklearn GridSearchCV跑SVM很慢或卡死解决办法,SVM线性核函数卡死

推荐整理分享Sklearn GridSearchCV跑SVM很慢或卡死解决办法,SVM线性核函数卡死,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

今天跑人工智能SVM实验,想试一下线性核函数,结果卡死了,很久也不出结果,但之前使用高斯核函数是没问题的。历经千辛万苦终于找到了原因,记录一下,希望对后人有帮助。本人只是个做作业的小菜菜,如有不对欢迎指正!

参考了以下文章:

关于Python Sklearn SVM 为什么运行很慢得到结果的原因 https://blog.csdn.net/zhike5110/article/details/88878812

大致原因

SVM需要不断寻找最能区分数据的超平面,直至收敛。我们以线性(Linear)核函数为例,如果数据间有明显的线性关系时,SVM就能很快找到这个超平面,达到收敛。但如果数据间无明显的线性关系,即使数据量很小,也很难找到这个超平面,导致迟迟不收敛。具体解释请看上面附的原文章。

解决方法原代码

我原来的代码如下。使用的是线性核函数。

import timefrom sklearn.metrics import accuracy_scorefrom sklearn.metrics import f1_scorefrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import GridSearchCVfrom sklearn.svm import SVC# 读取训练集并切分X, Y = load_data() X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 参数parameters = [ { 'kernel': ['linear'], # 线性核函数 'C': [1 * 10**i for i in range(-3, 11)], 'class_weight': ['balanced'] #样本均衡度 }]# 参数调优 clf = GridSearchCV(estimator=SVC(), param_grid=parameters, cv=8, n_jobs=5, scoring='f1_macro')start = time.time()clf.fit(X_train, y_train)elapsed = time.time() - startprint("Fitting finished in %d min %d s" % (elapsed / 60, elapsed % 60))print("Best set score:{:.2f}".format(clf.best_score_))print("Best parameters:{}".format(clf.best_params_))print("Test set score:{:.2f}".format(clf.score(X_test, y_test)))

使用上面的参数跑了很久也不出结果,把参数组合数量调少也不行。

方法一:限制最大迭代次数

设置最大迭代次数参数max_iter。max_iter默认为-1,表示直至计算出收敛的超平面才停止。将其设为一个合适的正整数即可。

设置max_iter参数:

parameters = [ { 'kernel': ['linear'], # 线性核函数 'C': [1 * 10**i for i in range(-3, 11)], 'class_weight': ['balanced'], # 样本均衡度 'max_iter': [1000000] # 限制最多迭代1000000次 },]

跑了有5分多钟,得到结果:

方法二:改用其他的核函数Sklearn GridSearchCV跑SVM很慢或卡死解决办法,SVM线性核函数卡死

改用非线性的核函数,比如常用的高斯核函数(也叫径向基核函数)、多项式核函数,可能能够正常收敛。

采用高斯核函数(Radial Basis Function,RBF)

采用高斯核函数,参数如下:

parameters = [ { 'kernel': ['rbf'], # 高斯核函数 'C': [1 * 10**i for i in range(-3, 11)], 'gamma': [1 * 10**i for i in range(-10, 4)], 'class_weight': ['balanced'] # 样本均衡度 }]

参数组合数量翻倍了,需要耐心等待。训练时间56分钟,结果:

采用多项式核函数(Polynomial Kernel)

我又尝试了多项式核函数,但对于我的数据仍然不好收敛,因此,只好也加上max_iter参数:

parameters = [ { 'kernel': ['poly'],# 多项式核函数 'C': [1 * 10**i for i in range(-3, 11)], 'degree': range(2, 10), 'class_weight': ['balanced'], #样本均衡度 'max_iter': [1000000]# 限制最多迭代1000000次 }]

参数组合数量仍然比较多。训练时间85分钟。结果如下:

换核函数还是不行?

原因是不同的参数组合也会影响收敛的速度。比如在我的实验中,采用高斯核函数,如果gamma设置过小也迟迟不出结果。建议解决方法如下:

先使用少的参数组合数量,降低试错成本。先不要刚上来就设置过多的参数组合数量,要不然跑的太慢,你无法知道是正常在跑还是收敛慢了,最后跑了几个小时跑不出来才发现不对劲。如果用少量的参数组合很快跑出来了,就尝试加多参数组合数量,看还能不能跑出来;也可以设置一个较大的max_iter参数。这样的话能防止收敛慢的参数组合无限制地跑下去,正常收敛的参数组合也不会受影响。SVM教程推荐

推荐浙江大学胡浩基老师的SVM课程,讲的非常清楚:

浙大胡浩基老师SVM: https://www.bilibili.com/video/BV1jt4y1E7BQ/?spm_id_from=333.337.search-card.all.click&vd_source=44f1ad5d101e28cd116fe2918182d1b6

B站也有胡老师完整的机器学习课程视频,感兴趣的同学可以去找找。

本文链接地址:https://www.jiuchutong.com/zhishi/299197.html 转载请保留说明!

上一篇:ZED2跑ORB-SLAM3+双目相机、IMU联合标定+显卡驱动与cuda/cudnn安装

下一篇:【node进阶】浅析Koa框架---ejs模板|文件上传|操作mongoDB(node教程)

  • 变更税务所怎么操作
  • 季度报表的利润表是填本月数填六月的书吗
  • 车险退到对公账户会计分录是
  • 去参加博览会的英文
  • 分公司一定要汇总申报吗
  • 开票没有网络可以开票吗
  • 房地产开发企业预收款预缴增值税
  • 固定资产提折旧 账务处理
  • 捐赠的所得税怎么处理
  • 土地不动产登记证办理流程
  • 将汽车奖励给员工财务如何处理?
  • 新产品开发费用怎么扣除
  • 投资收益率中投资总额包括哪些
  • 物业公司代收供暖费,可以开发票吗
  • 关于有什么新的政策
  • 质量扣款不开票怎么处理
  • 代理国库税收收缴怎么做账
  • 建筑企业结转成本依据准则
  • 消费税如何避税计算
  • 股息红利税补缴什么时候收取
  • 虚增利润
  • 私立幼儿园收费归哪个部门管
  • 进程间死锁
  • 外汇账户转账有手续费吗
  • 累积带薪缺勤的例题
  • 企业所得税若干问题
  • it最高工资
  • 哈德良长城和中国长城的区别
  • 股权转让怎么做帐务处理
  • php is_a
  • 日用品可以开专票吗
  • 深度学习之快速实现数据集增强的方法
  • wordpress使用教程
  • 应收账款与主营业务收入的比率
  • 利润分配财务管理
  • python中strftime用法
  • db2教程
  • 织梦官方
  • 地价计入房产原值文件解读
  • 水电费专用发票模板
  • 累计净值包含业绩吗
  • 土地增值税清算全流程实战案例
  • 门禁卡一般属于什么卡
  • 小型微利企业所得税按什么预缴
  • 微店企业店铺和个人店铺的区别
  • 研发费用的范围包括哪些
  • Mysql以utf8存储gbk输出的实现方法提供
  • 增值税纳税人放弃免税权的规定
  • 采用权益法核算的长期股权投资时,对于被投资企业
  • 银行账户如何开立
  • 小规模免税收入怎么做账
  • 残保金申报常见问题
  • 稳定用工社保补贴怎么领
  • 营业外收入主要来源
  • mysql 5.7启动
  • windows vista(service pack1)
  • 从根上保证电脑安全、不中毒的方法
  • ubuntu20.04忘记用户密码怎么办
  • Centos安装dig命令
  • 华硕主板进入bios怎么设置u盘启动
  • win7系统打开网络看不到其他电脑
  • windows8自动开机
  • winton
  • gcf是什么软件的文件
  • win8 升级 win10
  • jquery示例
  • android中使用md5后报非法延续字节
  • linux怎么使用shell
  • unity固定位置随机生成物体
  • js中的正则表达式的例子
  • node做爬虫
  • js秒数转时间
  • convert fs
  • document.all.value
  • unity3d最新api
  • 6种javascript显示当前系统时间代码
  • no android facet found
  • 广东省国家税务总局官网
  • 增值税专票红冲退税
  • 国税湖南电子税务局官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设