位置: IT常识 - 正文
超参数调优框架optuna（可配合pytorch）(超参数设置)
编辑：rootadmin推荐整理分享超参数调优框架optuna（可配合pytorch）(超参数设置)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:超参数设置,模型超参数调整,参数调优方法,超参数调优的作用,超参数选择,超参数调节,超参数优化算法,超参数优化,内容如对您有帮助，希望把文章链接给更多的朋友！
在深度学习快速发展的今天，对于不同深度学习模型的超参数优化（hyperparameter optimization），始终是一个比较头痛的问题。在超参较少的情况下，grid search是比较常见的方式，但是随着超参数量的不断增多，特别是对于神经网络而言，训练过程的超参和NN本身的超参组成的参数空间是巨大的，grid search方法会消耗巨大的资源，而且效果很差，因此寻找一个“机器炼丹”的框架十分必要。
optuna 是一个十分常用的超参数调优框架，具有操作简单，嵌入式强和动态调整参数空间等优点。另外还有其他框架也可以进行超参优化，如李沐老师提到的automl等。
一、optuna的使用流程首先需要在命令行 pip install optuna 载入这个第三方库，载入之后import即可。
optuna中需要注意几个关键的名词： trail:：一次实验 study:：一次学习过程（包括多次实验）
import optunadef obj(trail):x = trail.suggest_float('x',1,5)return (x-3)*(x-3)stu = optuna.creat_study(study_name = 'test', direction = 'minimize')stu.optimize(obj, n_trials = 50)print(study.best_params)print(study.best_trial)print(study.best_trial.value)
该段实例代码中，函数obj定义一个含参数的需要优化的模块，带调整的超参数为 ‘x’ ，返回值为该模块的 objective value。超参x的类型为float，可调整空间为 [1,5] 左右都闭区间，常用的还有suggest_int表示整型，suggest_categorical表示字符串集合。
trail.suggest_int('name', 10, 50)trail.suggest_categorical('active', ['relu', 'sigmoid', 'tanh'])study表示一个学习过程，direction参数为“minimize”表示对函数obj 的返回值（同时也是每次trial的objective value）向最小的方向优化。
二、结果可视化optuna.visualization中包含了丰富的可视化工具。比较推荐使用的是以下三个：
optuna.visualization.plot_param_importances(stu).show()optuna.visualization.plot_optimization_history(stu).show()optuna.visualization.plot_slice(stu).show()plot_param_importances 展示各个超参数对结果影响的重要性
plot_optimization_history 展示在n_trail 个trail中每次的objective value和当前的最优解
plot_slice 展示每个超参数在所有trail中取值的分布，以散点图的形式
三、pytorch代码使用optuna在pytorch构建的MLP中进行使用，可以看到该调参框架是十分灵活的，可以设置训练参数，如batchsize，learning rate，也可也设置NN的参数，如隐藏层数目，激活函数类型等。
import torchfrom torch import nn, optimfrom torch.utils.data import DataLoaderfrom torch.autograd import Variable # 获取变量import optunadef train(batch_size, learning_rate, lossfunc, opt, hidden_layer, activefunc, weightdk,momentum): # 选出一些超参数 trainset_num = 800 testset_num = 50 train_dataset = myDataset(trainset_num) test_dataset = myDataset(testset_num) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=True) # 创建CNN模型， 并设置损失函数及优化器 model = MLP(hidden_layer, activefunc).cuda() # print(model) if lossfunc == 'MSE': criterion = nn.MSELoss().cuda() elif lossfunc == 'MAE': criterion = nn.L1Loss() # optimizer = optim.Adam(model.parameters(), lr=learning_rate, weight_decay=weightdk) optimizer =optim.RMSprop(model.parameters(),lr=learning_rate,weight_decay=weightdk, momentum=momentum) # 训练过程 for epoch in range(num_epoches): # 训练模式 model.train() for i, data in enumerate(train_loader): inputs, labels, _ = data inputs = Variable(inputs).float().cuda() labels = Variable(labels).float().cuda() # 前向传播 out = model(inputs) # 可以考虑加正则项 train_loss = criterion(out, labels) optimizer.zero_grad() train_loss.backward() optimizer.step() model.eval() testloss = test() #返回测试集合上的MAE print('Test MAE = ', resloss) return reslossdef objective(trail): batchsize = trail.suggest_int('batchsize', 1, 16) lr = trail.suggest_float('lr', 1e-4, 1e-2,step=0.0001) lossfunc = trail.suggest_categorical('loss', ['MSE', 'MAE']) opt = trail.suggest_categorical('opt', ['Adam', 'SGD']) hidden_layer = trail.suggest_int('hiddenlayer', 20, 1200) activefunc = trail.suggest_categorical('active', ['relu', 'sigmoid', 'tanh']) weightdekey = trail.suggest_float('weight_dekay', 0, 1,step=0.01) momentum= trail.suggest_float('momentum',0,1,step=0.01) loss = train(batchsize, lr, lossfunc, opt, hidden_layer, activefunc, weightdekey,momentum) return lossif __name__ == '__main__': st=time.time() study = optuna.create_study(study_name='test', direction='minimize') study.optimize(objective, n_trials=500) print(study.best_params) print(study.best_trial) print(study.best_trial.value) print(time.time()-st) optuna.visualization.plot_param_importances(study).show() optuna.visualization.plot_optimization_history(study).show() optuna.visualization.plot_slice(study).show()上一篇：Transformer 中的mask(transformer add norm)
下一篇：SSD训练数据集流程（学习记录）(ssd训练自己的数据集pytorch)
