位置: IT常识 - 正文

MMDetection系列 | 5. MMDetection运行配置介绍(mmdetection optimizer)

编辑:rootadmin
MMDetection系列 | 5. MMDetection运行配置介绍

推荐整理分享MMDetection系列 | 5. MMDetection运行配置介绍(mmdetection optimizer),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mmdetection中文手册,mmdetection中文手册,mmdetection optimizer,mmdetection resume,mmdetection介绍,mmdetection介绍,mmdetection详解,mmdetection介绍,内容如对您有帮助,希望把文章链接给更多的朋友!

如有错误,恳请指出。

开门见山,基于mmdet的官方文档直接介绍如何进行我们的运行配置。个人觉得,继承于default_runtime.py这个文件之后,主要需要自己稍微更改下的配置主要有7个,分别是:优化器配置、学习率配置、工作流程配置、检查点配置、日志配置、评估配置、训练设置。具体的配置流程如下所示。

如果需要其他钩子函数的实现与配置,具体可以查看参考资料1.

文章目录1. 优化器配置2. 学习率配置3. 工作流程配置4. 检查点配置5. 日志配置6. 评估配置7. 训练设置1. 优化器配置optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)optimizer_config = dict(grad_clip=None)使用梯度剪辑来稳定训练optimizer_config = dict( _delete_=True, grad_clip=dict(max_norm=35, norm_type=2))

其中,_delete_=True将用新键替换backbone字段中的所有旧键

2. 学习率配置lr_config = dict( policy='step', warmup='linear', warmup_iters=500, warmup_ratio=0.001, step=[8, 11]) # 表示初始学习率在第8和11个epoch衰减10倍

还有其他的配置方案:

Poly schedulelr_config = dict(policy='poly', power=0.9, min_lr=1e-4, by_epoch=False)ConsineAnnealing schedulelr_config = dict( policy='CosineAnnealing', warmup='linear', warmup_iters=1000, warmup_ratio=1.0 / 10, min_lr_ratio=1e-5)使用动量调度加速模型收敛

支持动量调度器根据学习率修改模型的动量,这可以使模型以更快的方式收敛。Momentum 调度器通常与 LR 调度器一起使用

lr_config = dict( policy='cyclic', target_ratio=(10, 1e-4), cyclic_times=1, step_ratio_up=0.4,)momentum_config = dict( policy='cyclic', target_ratio=(0.85 / 0.95, 1), cyclic_times=1, step_ratio_up=0.4,)3. 工作流程配置

工作流是 (phase, epochs) 的列表,用于指定运行顺序和时期。默认情况下,它设置为:

workflow = [('train', 1)]

这意味着运行 1 个 epoch 进行训练。有时用户可能想要检查验证集上模型的一些指标(例如损失、准确性)。在这种情况下,我们可以将工作流设置为

[('train', 1), ('val', 1)]

这样 1 个 epoch 的训练和 1 个 epoch 的验证将被迭代运行。而验证集的损失同样会被计算出来。如果想先进行验证,再进行训练,还可以设置如下:

[('val', 1), ('train', n)]

这样设置表示先对验证集进行验证与损失计算,再进行n个epoch的计算。

4. 检查点配置checkpoint_config = dict(interval=20) # 20个epoch保存一次权重

参数说明见:https://mmcv.readthedocs.io/en/latest/api.html#mmcv.runner.CheckpointHook

CLASSmmcv.runner.CheckpointHook(interval: int = - 1, by_epoch: bool = True, save_optimizer: bool = True, out_dir: Optional[str] = None, max_keep_ckpts: int = - 1, save_last: bool = True, sync_buffer: bool = False, file_client_args: Optional[dict] = None, **kwargs)

interval (int) – The saving period. If by_epoch=True, interval indicates epochs, otherwise it indicates iterations. Default: -1, which means “never”.by_epoch (bool) – Saving checkpoints by epoch or by iteration. Default: True.save_optimizer (bool) – Whether to save optimizer state_dict in the checkpoint. It is usually used for resuming experiments. Default: True.out_dir (str, optional) – The root directory to save checkpoints. If not specified, runner.work_dir will be used by default. If specified, the out_dir will be the concatenation of out_dir and the last level directory of runner.work_dir. Changed in version 1.3.16.max_keep_ckpts (int, optional) – The maximum checkpoints to keep. In some cases we want only the latest few checkpoints and would like to delete old ones to save the disk space. Default: -1, which means unlimited.save_last (bool, optional) – Whether to force the last checkpoint to be saved regardless of interval. Default: True.sync_buffer (bool, optional) – Whether to synchronize buffers in different gpus. Default: False.file_client_args (dict, optional) – Arguments to instantiate a FileClient. See mmcv.fileio.FileClient for details. Default: None. New in version 1.3.16.5. 日志配置MMDetection系列 | 5. MMDetection运行配置介绍(mmdetection optimizer)

包装多个记录器log_config挂钩并允许设置间隔。现在 MMCV 支持WandbLoggerHook、MlflowLoggerHook和TensorboardLoggerHook.

log_config = dict( interval=50, # 每500个迭代就打印一次训练信息 hooks=[ dict(type='TextLoggerHook'), # dict(type='TensorboardLoggerHook') ])

参数说明见:https://mmcv.readthedocs.io/en/latest/api.html#mmcv.runner.EvalHook

CLASSmmcv.runner.LoggerHook(interval: int = 10, ignore_last: bool = True, reset_flag: bool = False, by_epoch: bool = True)[SOURCE]

interval (int) – Logging interval (every k iterations). Default 10.ignore_last (bool) – Ignore the log of last iterations in each epoch if less than interval. Default True.reset_flag (bool) – Whether to clear the output buffer after logging. Default False.by_epoch (bool) – Whether EpochBasedRunner is used. Default True.6. 评估配置

配置的evaluation将用于初始化EvalHook. 除了 key interval,其他参数如metric将传递给dataset.evaluate() evaluation = dict(interval=1, metric=‘bbox’)

参数说明:https://mmcv.readthedocs.io/en/latest/api.html?highlight=EpochBasedRunner#mmcv.runner.EpochBasedRunner

mmcv.runner.EvalHook(dataloader: torch.utils.data.dataloader.DataLoader, start: Optional[int] = None, interval: int = 1, by_epoch: bool = True, save_best: Optional[str] = None, rule: Optional[str] = None, test_fn: Optional[Callable] = None, greater_keys: Optional[List[str]] = None, less_keys: Optional[List[str]] = None, out_dir: Optional[str] = None, file_client_args: Optional[dict] = None, **eval_kwargs)

dataloader (DataLoader) – A PyTorch dataloader, whose dataset has implemented evaluate function.start (int | None, optional) – Evaluation starting epoch. It enables evaluation before the training starts if start <= the resuming epoch. If None, whether to evaluate is merely decided by interval. Default: None.interval (int) – Evaluation interval. Default: 1.by_epoch (bool) – Determine perform evaluation by epoch or by iteration. If set to True, it will perform by epoch. Otherwise, by iteration. Default: True.save_best (str, optional) – If a metric is specified, it would measure the best checkpoint during evaluation. The information about best checkpoint would be saved in runner.meta[‘hook_msgs’] to keep best score value and best checkpoint path, which will be also loaded when resume checkpoint. Options are the evaluation metrics on the test dataset. e.g., bbox_mAP, segm_mAP for bbox detection and instance segmentation. AR@100 for proposal recall. If save_best is auto, the first key of the returned OrderedDict result will be used. Default: None.rule (str | None, optional) – Comparison rule for best score. If set to None, it will infer a reasonable rule. Keys such as ‘acc’, ‘top’ .etc will be inferred by ‘greater’ rule. Keys contain ‘loss’ will be inferred by ‘less’ rule. Options are ‘greater’, ‘less’, None. Default: None.test_fn (callable, optional) – test a model with samples from a dataloader, and return the test results. If None, the default test function mmcv.engine.single_gpu_test will be used. (default: None)greater_keys (List[str] | None, optional) – Metric keys that will be inferred by ‘greater’ comparison rule. If None, _default_greater_keys will be used. (default: None)less_keys (List[str] | None, optional) – Metric keys that will be inferred by ‘less’ comparison rule. If None, _default_less_keys will be used. (default: None)out_dir (str, optional) – The root directory to save checkpoints. If not specified, runner.work_dir will be used by default. If specified, the out_dir will be the concatenation of out_dir and the last level directory of runner.work_dir. New in version 1.3.16.file_client_args (dict) – Arguments to instantiate a FileClient. See mmcv.fileio.FileClient for details. Default: None. New in version 1.3.16.**eval_kwargs – Evaluation arguments fed into the evaluate function of the dataset.7. 训练设置runner = dict(type='EpochBasedRunner', max_epochs=150) # 设置模型训练多少次

参数说明:https://mmcv.readthedocs.io/en/latest/api.html#mmcv.runner.EpochBasedRunner

mmcv.runner.EpochBasedRunner(model: torch.nn.modules.module.Module, batch_processor: Optional[Callable] = None, optimizer: Optional[Union[Dict, torch.optim.optimizer.Optimizer]] = None, work_dir: Optional[str] = None, logger: Optional[logging.Logger] = None, meta: Optional[Dict] = None, max_iters: Optional[int] = None, max_epochs: Optional[int] = None)

总结:

一般来说,我们写配置文件都会继承default_runtime.py这个文件

_base_ = [ '../_base_/default_runtime.py']

这个文件的内容如下所示:

checkpoint_config = dict(interval=5) # 每5个epoch保存一次权重# yapf:disablelog_config = dict( interval=50, # 每500个迭代就打印一次训练信息 hooks=[ dict(type='TextLoggerHook'), # dict(type='TensorboardLoggerHook') ])# yapf:enablecustom_hooks = [dict(type='NumClassCheckHook')]dist_params = dict(backend='nccl')log_level = 'INFO'load_from = None # 加载权重文件resume_from = Noneworkflow = [('train', 1)]# disable opencv multithreading to avoid system being overloadedopencv_num_threads = 0# set multi-process start method as `fork` to speed up the trainingmp_start_method = 'fork'# Default setting for scaling LR automatically# - `enable` means enable scaling LR automatically# or not by default.# - `base_batch_size` = (8 GPUs) x (2 samples per GPU).auto_scale_lr = dict(enable=False, base_batch_size=16)

一般不需要更改太多的内容,可以时代的更改log_config进行合理的打印训练信息,还有设置checkpoint_config进行合理的保存权重文件,其他的设置按默认即可。

下面展示我继承了default_runtime.py后更改的内容,其实就是更改了以上我所介绍的七点内容:

_base_ = [ '../_base_/default_runtime.py']......# optimizeroptimizer = dict( # 设置使用AdamW优化器(默认使用的是SGD) type='AdamW', lr=0.0001, weight_decay=0.0001, paramwise_cfg=dict(custom_keys={'backbone': dict(lr_mult=0.1, decay_mult=1.0)}))evaluation = dict(interval=5, metric='bbox') # 5个epoch验证一次optimizer_config = dict(grad_clip=dict(max_norm=0.1, norm_type=2)) # 设置梯度裁剪(default_runtime.py中默认为None)checkpoint_config = dict(interval=20) # 20个epoch保存一次权重log_config = dict(interval=50, # 每50次迭代训练就打印一次信息(注意是迭代而不是epoch) hooks=[dict(type='TextLoggerHook')])# learning policylr_config = dict(policy='step', step=[100]) # 学习率在100个epoch进行衰减runner = dict(type='EpochBasedRunner', max_epochs=150) # 训练150个epoch

参考资料:

1. Customize Runtime Settings

2. mmcv官方文档

本文链接地址:https://www.jiuchutong.com/zhishi/292341.html 转载请保留说明!

上一篇:【uniapp】页面下拉刷新(uniapp按钮)

下一篇:卡格拉格帝边境公园中一对正在求偶的鸵鸟,南非 (© Tina Malfilatre/Minden Pictures)(卡格拉河)

  • 抖音互关好友有浏览记录吗(抖音互关好友有浏览记录会提醒别人吗)

    抖音互关好友有浏览记录吗(抖音互关好友有浏览记录会提醒别人吗)

  • 为什么别人打微信视频没有提示(为什么别人打微信语音我微信不显示)

    为什么别人打微信视频没有提示(为什么别人打微信语音我微信不显示)

  • 荣耀20青春版支持nfc吗(荣耀20青春版支持红外遥控吗)

    荣耀20青春版支持nfc吗(荣耀20青春版支持红外遥控吗)

  • oppo手机突然显示hd2(oppo手机突然显示oppo页面不动了)

    oppo手机突然显示hd2(oppo手机突然显示oppo页面不动了)

  • 淘宝自动交话费怎么取消(淘宝里面自动充值话费)

    淘宝自动交话费怎么取消(淘宝里面自动充值话费)

  • win7电脑屏幕变黄(win7电脑屏幕变暗怎么调亮度)

    win7电脑屏幕变黄(win7电脑屏幕变暗怎么调亮度)

  • 三星微信视频如何美颜(三星微信视频如何打开美颜功能设置)

    三星微信视频如何美颜(三星微信视频如何打开美颜功能设置)

  • 锐龙2700算高端么(锐龙2700u)

    锐龙2700算高端么(锐龙2700u)

  • 华为保时捷按键音在哪里设置(华为保时捷按键上下颠倒)

    华为保时捷按键音在哪里设置(华为保时捷按键上下颠倒)

  • word如何缩进字符间距(word中如何缩进字符)

    word如何缩进字符间距(word中如何缩进字符)

  • 28磅是几倍行距(28磅是几倍行距WPS)

    28磅是几倍行距(28磅是几倍行距WPS)

  • iphoneXR该不该贴膜(苹果xr用贴膜或者保护套吗)

    iphoneXR该不该贴膜(苹果xr用贴膜或者保护套吗)

  • 华为nova3机身尺寸大小(nova3 尺寸)

    华为nova3机身尺寸大小(nova3 尺寸)

  • 咪咕超级会员怎么退订(咪咕超级会员怎么领取阅读会员)

    咪咕超级会员怎么退订(咪咕超级会员怎么领取阅读会员)

  • 京东怎么延长收货时间(京东如何延时收货)

    京东怎么延长收货时间(京东如何延时收货)

  • 手机忘记放哪里了怎么找出来(手机忘记放哪里了怎么语音唤醒)

    手机忘记放哪里了怎么找出来(手机忘记放哪里了怎么语音唤醒)

  • 华为nova6什么时候出(华为nova6什么时候停产的)

    华为nova6什么时候出(华为nova6什么时候停产的)

  • bluet00th蓝牙耳机怎么连接(bluet00th蓝牙耳机有一个没声音了怎么办)

    bluet00th蓝牙耳机怎么连接(bluet00th蓝牙耳机有一个没声音了怎么办)

  • 电子发票微信怎么查看(电子发票微信怎么发送给对方)

    电子发票微信怎么查看(电子发票微信怎么发送给对方)

  • vivox9splus红外线在哪(vivox9i红外线)

    vivox9splus红外线在哪(vivox9i红外线)

  • mac 无法开机(mac无法开机的原因)

    mac 无法开机(mac无法开机的原因)

  • Linux系统怎么配置双显卡?(Linux系统怎么配置IP)

    Linux系统怎么配置双显卡?(Linux系统怎么配置IP)

  • 安大略省的圣诞树农场,加拿大 (© FatCamera/Getty Images Plus)(安大略省节日)

    安大略省的圣诞树农场,加拿大 (© FatCamera/Getty Images Plus)(安大略省节日)

  • 税务ukey电子发票二维码用什么扫码
  • 代开专用发票需要交城建税吗
  • 综合收入扣税
  • 源泉扣税什么意思
  • 进项税额加计抵减会计分录
  • 没房分手的多吗
  • 对方公司已注销如何付款
  • 承销债券收取的承销费属于什么收入
  • 应收利息增加会计分录
  • 租赁合同印花税率
  • 人力资源服务发票
  • 企业所得税汇总纳税分配比例
  • 培训发生的差旅费的会计准则有哪些
  • 抵扣增值税怎么抵扣
  • 劳务公司发放农民工工资的三种形式
  • 委托加工设备
  • 投资款多投了怎么办
  • 哪些税不可以扣除
  • 住房补贴是现金还是转账
  • 营改增后哪些费用可以抵扣
  • 单位报销托儿费
  • 没有发票的房租调增金额怎算
  • 节能减排奖励资金追回
  • 统一社会信用代码查询官网
  • 商品促销有关问题
  • 如何看云空间的内容
  • 办理出口退税的流程
  • 事业单位工会经费会计账务处理办法
  • 客运企业安全费用提取标准
  • 银行承兑汇票开出后多久可以签收
  • PHP:session_cache_limiter()的用法_Session函数
  • 计提固定资产折旧怎么做会计科目
  • DWHeartbeatMonitor.exe进程是什么意思 DWHeartbeatMonitor是安全的进程吗
  • 企业个人借款会计分录
  • 记账凭证的总账科目是什么
  • HTTP 错误 500.19- Internal Server Error 错误解决方法
  • 建设工程项目设计质量控制的内容
  • php判断查询结果是否存在
  • vue3.0项目实战视频
  • 特征提取原理
  • java 通配符
  • 应收帐款质保金
  • 带息票据和不带息票据怎么区分
  • 审核出错问题在谁
  • wordpress怎么删除文章
  • 用于研发的材料做成产品出售后怎么做账
  • 非货币性职工薪酬
  • 税收类型增值税有哪些
  • SQL Server 2005 同步复制技术
  • mysql5.5远程连接
  • sql按照日期范围查询
  • 工会经费与残保金属于什么
  • 印花税是必交的吗
  • 企业外购的软件叫什么
  • 归还银行的贷款会计分录
  • 保证金抵扣货款情况说明范文
  • 代扣款分录
  • 交易性金融资产的账务处理
  • 应收账款转回坏账怎么办
  • 电子发票开票方怎么做账?
  • 什么叫先打后补
  • 注册资本可以是欧元吗
  • 按揭贷款汽车会被抵押吗
  • sql查询从入门到实践
  • macos 右键菜单
  • hottray.exe是什么进程 有什么作用 hottray进程查询
  • ipcservice.dll是什么?
  • win8.1使用
  • 关于linux操作系统的描述中
  • js基于对象的特点是什么
  • javascript 基础
  • Windows环境下搭建Python开发环境的方法
  • Android自定义对话框
  • javascript常用的数据类型有哪些
  • ukey开发票系统怎么升级?
  • 电梯维护保养费按什么缴纳增值税
  • 银行流水怎么查
  • 深圳电子税务局怎么查以前申报表
  • 未到申报期可以提前抄税吗
  • 税务师如何执业
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设