位置: IT常识 - 正文

深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

编辑:rootadmin
深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

推荐整理分享深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

        本文参考文献:Progressive Image Deraining Networks: A Better and Simpler Baseline Dongwei Ren1, Wangmeng Zuo2, Qinghua Hu∗1, Pengfei Zhu1, and Deyu Meng31College of Computing and Intelligence, Tianjin University, Tianjin, China 2School of Computer Science and Technology, Harbin Institute of Technology, Harbin, China 3Xi’an Jiaotong University, Xi’an, China

        论文下载网址:[1901.09221] Progressive Image Deraining Networks: A Better and Simpler Baseline (arxiv.org)https://arxiv.org/abs/1901.09221

        论文作者提供的Github实验源码:https://github.com/csdwren/PReNet.

        关于论文:本文参考论文的主要贡献是提出了一种简单易实现且有较好效果的去雨网络架构PreNet,虽然其所用技术不是最先进的,但却有着十分优秀的去雨效果,因此作者认为这是一种可供众多研究者学习和实验对比使用的优良的基准模型。而在我看来,正是由于模型的以上这些特点,PreNet也十分适合深度学习去雨入门研究者进行学习和实现。

        接下来将仔细说明一种十分简便的实现方法以及部分实验原理。

实验环境

        首先介绍实现的实验环境。新手建议首选在以下网址注册账号(注册需科学上网,后续使用不必)利用线上环境写Pytorch代码,并将模型放网站提供的免费云算力服务器上训练。可以省去新手配置本地cuda环境的烦恼。

Kaggle: Your Home for Data Sciencehttps://www.kaggle.com/

        点击左侧 Code

         再点击 New Notebook 即可开启线上编程环境

         线上编程环境和Jupyter类似,进入编程界面后可以在上方菜单栏设置界面外观选项(可以选择添加行号以便于查看代码)。右侧可选择加速器,我推荐使用GPU P100。

         代码编写及调试完成后点击右上角 Save Version 来讲模型放在云GPU上训练(注意保存的版本无法手动删除,因此一定要确认代码调试无误后再点击 Save Version,以免版本太多造成的混乱)。

        以上即是对编程环境的基本介绍,下面详细介绍实现步骤。

具体实现

        图像去雨任务和图像分类任务的处理流程相似,都是:数据处理 --> 模型构建 --> 训练 --> 记录训练信息及模型保存。接下来将结合代码详细介绍。

        数据处理:'''Dataset for Training.'''class MyTrainDataset(Dataset): def __init__(self, input_path, label_path): self.input_path = input_path self.input_files = os.listdir(input_path) self.label_path = label_path self.label_files = os.listdir(label_path) self.transforms = transforms.Compose([ transforms.CenterCrop([64, 64]), transforms.ToTensor(), ]) def __len__(self): return len(self.input_files) def __getitem__(self, index): label_image_path = os.path.join(self.label_path, self.label_files[index]) label_image = Image.open(label_image_path).convert('RGB') ''' Ensure input and label are in couple. ''' temp = self.label_files[index][:-4] self.input_files[index] = temp + 'x2.png' input_image_path = os.path.join(self.input_path, self.input_files[index]) input_image = Image.open(input_image_path).convert('RGB') input = self.transforms(input_image) label = self.transforms(label_image) return input, label'''Dataset for testing.'''class MyValidDataset(Dataset): def __init__(self, input_path, label_path): self.input_path = input_path self.input_files = os.listdir(input_path) self.label_path = label_path self.label_files = os.listdir(label_path) self.transforms = transforms.Compose([ transforms.CenterCrop([64, 64]), transforms.ToTensor(), ]) def __len__(self): return len(self.input_files) def __getitem__(self, index): label_image_path = os.path.join(self.label_path, self.label_files[index]) label_image = Image.open(label_image_path).convert('RGB') temp = self.label_files[index][:-4] self.input_files[index] = temp + 'x2.png' input_image_path = os.path.join(self.input_path, self.input_files[index]) input_image = Image.open(input_image_path).convert('RGB') input = self.transforms(input_image) label = self.transforms(label_image) return input, label

         上面的代码分为两个部分:分别是训练集和测试集的Dataset类的重写。这是自定义Pytorch数据集处理方式的比较方便的处理方式。由于训练集和测试集的处理方式一致,这里仅对训练集的处理方式进行介绍。

        首先我们需要明白,为什么我们特别地需要重写__init__, __length__, __getitem__ 这三个Dataset()类的方法,因为后续处理中封装用的DataLoader类需要调用Dataset对象的这三个函数来获取数据集的相关信息,这个关系可以理解为:DataLoader类负责将数据切分为很多个批次(batch)以分批次进行训练,而Dataset负责记录数据整体信息处理每一批次中的每一对标签和输入数据的内容。换句话说,Dataset类只负责记录整体数据信息处理一对标签和输入数据对,而DataLoader将Dataset的处理方式循环地应用到整个数据集上。因此,对于不同的数据集我们要重写Dataset类的这三个函数以改变DataLoader处理数据的方式。

深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

        明白了以上内容,我们就好理解这三个函数的运作方式了:__init__和 __length__负责记录数据集的一些基本信息,__length__的内容一定是返回输入数据项的长度(不可更改),而__init__用于初始化你需要用到的一些基本变量(可高度自定义),这些变量将在__getitem__中被调用。__getitem__就负责处理每一对数据对的匹配输出,其关键是一定要保证最后 return 的 input 和 label 是成对的。

        以下是创建Dataset和DataLoader对象的过程:

'''Path of Dataset.'''input_path = "../input/jrdr-deraining-dataset/JRDR/rain_data_train_Heavy/rain/X2"label_path = "../input/jrdr-deraining-dataset/JRDR/rain_data_train_Heavy/norain"valid_input_path = '../input/jrdr-deraining-dataset/JRDR/rain_data_test_Heavy/rain/X2'valid_label_path = '../input/jrdr-deraining-dataset/JRDR/rain_data_test_Heavy/norain''''Prepare DataLoaders.Attension: 'pin_numbers=True' can accelorate CUDA computing.'''dataset_train = MyTrainDataset(input_path, label_path)dataset_valid = MyValidDataset(valid_input_path, valid_label_path)train_loader = DataLoader(dataset_train, batch_size=batch_size, shuffle=True, pin_memory=True)valid_loader = DataLoader(dataset_valid, batch_size=batch_size, shuffle=True, pin_memory=True)

       需要注意的是我使用的是Kaggle网站上提供的线上数据集,可自行搜索添加:

         你可以选择使用Heavy数据集训练,也可以使用Light,分别对应人工合成的大雨和小雨数据集。我推荐使用Heavy,使用Heavy训练出来的模型对于真实下雨场景的去雨效果更明显。

        模型构建:# 网络架构class PReNet_r(nn.Module): def __init__(self, recurrent_iter=6, use_GPU=True): super(PReNet_r, self).__init__() self.iteration = recurrent_iter self.use_GPU = use_GPU self.conv0 = nn.Sequential( nn.Conv2d(6, 32, 3, 1, 1), nn.ReLU() ) self.res_conv1 = nn.Sequential( nn.Conv2d(32, 32, 3, 1, 1), nn.ReLU(), nn.Conv2d(32, 32, 3, 1, 1), nn.ReLU() ) self.conv_i = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv_f = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv_g = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Tanh() ) self.conv_o = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv = nn.Sequential( nn.Conv2d(32, 3, 3, 1, 1), ) def forward(self, input): batch_size, row, col = input.size(0), input.size(2), input.size(3) #mask = Variable(torch.ones(batch_size, 3, row, col)).cuda() x = input h = Variable(torch.zeros(batch_size, 32, row, col)) c = Variable(torch.zeros(batch_size, 32, row, col)) if self.use_GPU: h = h.cuda() c = c.cuda() x_list = [] for i in range(self.iteration): x = torch.cat((input, x), 1) x = self.conv0(x) x = torch.cat((x, h), 1) i = self.conv_i(x) f = self.conv_f(x) g = self.conv_g(x) o = self.conv_o(x) c = f * c + i * g h = o * torch.tanh(c) x = h for j in range(5): resx = x x = F.relu(self.res_conv1(x) + resx) x = self.conv(x) x = input + x x_list.append(x) return x, x_list

        我直接照搬的论文源码的网络架构,简单来说,该网络就是结合了LSTM和递归残差网络的处理方式。你暂时可以不用理解,直接用就行。如果想要进行深入了解的话可以查看本文开头处提供的原文链接或本站搜索论文翻译。

        训练:'''Define optimizer and Loss Function.'''optimizer = optim.RAdam(net.parameters(), lr=learning_rate)scheduler = CosineAnnealingLR(optimizer, T_max=epoch)loss_f = SSIM()

        首先初始化优化器和损失函数,采用RAdam优化器(Adam优化器的基础上增加了warm-up的功能)并使用CosineAnnealingLR(余弦退火算法)让学习率随训练轮数呈余弦变化,以优化训练结果。

        SSIM损失函数使用的是论文作者提供的源码:

# SSIM损失函数实现def gaussian(window_size, sigma): gauss = torch.Tensor([exp(-(x - window_size//2)**2/float(2*sigma**2)) for x in range(window_size)]) return gauss/gauss.sum()def create_window(window_size, channel): _1D_window = gaussian(window_size, 1.5).unsqueeze(1) _2D_window = _1D_window.mm(_1D_window.t()).float().unsqueeze(0).unsqueeze(0) window = Variable(_2D_window.expand(channel, 1, window_size, window_size).contiguous()) return windowdef _ssim(img1, img2, window, window_size, channel, size_average = True): mu1 = F.conv2d(img1, window, padding = window_size//2, groups = channel) mu2 = F.conv2d(img2, window, padding = window_size//2, groups = channel) mu1_sq = mu1.pow(2) mu2_sq = mu2.pow(2) mu1_mu2 = mu1*mu2 sigma1_sq = F.conv2d(img1*img1, window, padding = window_size//2, groups = channel) - mu1_sq sigma2_sq = F.conv2d(img2*img2, window, padding = window_size//2, groups = channel) - mu2_sq sigma12 = F.conv2d(img1*img2, window, padding = window_size//2, groups = channel) - mu1_mu2 C1 = 0.01**2 C2 = 0.03**2 ssim_map = ((2*mu1_mu2 + C1)*(2*sigma12 + C2))/((mu1_sq + mu2_sq + C1)*(sigma1_sq + sigma2_sq + C2)) if size_average: return ssim_map.mean() else: return ssim_map.mean(1).mean(1).mean(1)class SSIM(torch.nn.Module): def __init__(self, window_size = 11, size_average = True): super(SSIM, self).__init__() self.window_size = window_size self.size_average = size_average self.channel = 1 self.window = create_window(window_size, self.channel) def forward(self, img1, img2): (_, channel, _, _) = img1.size() if channel == self.channel and self.window.data.type() == img1.data.type(): window = self.window else: window = create_window(self.window_size, channel) if img1.is_cuda: window = window.cuda(img1.get_device()) window = window.type_as(img1) self.window = window self.channel = channel return _ssim(img1, img2, window, self.window_size, channel, self.size_average)def ssim(img1, img2, window_size = 11, size_average = True): (_, channel, _, _) = img1.size() window = create_window(window_size, channel) if img1.is_cuda: window = window.cuda(img1.get_device()) window = window.type_as(img1) return _ssim(img1, img2, window, window_size, channel, size_average)

        SSIM是一种评估两幅图像相似度的算法,具体原理此处不再详述,你只需要记住其值越大两张图像相似度越高,值为一则两张图象完全一样。因此我们在后续训练时需要取SSIM的负值。

        下面是循环训练的代码:

'''START Training ...'''for i in range(epoch):# ---------------Train---------------- net.train() train_losses = [] ''' tqdm is a toolkit for progress bar. ''' for batch in tqdm(train_loader): inputs, labels = batch outputs, _ = net(inputs.to(device)) loss = loss_f(labels.to(device), outputs) loss = -loss optimizer.zero_grad() loss.backward() ''' Avoid grad to be too BIG. ''' grad_norm = nn.utils.clip_grad_norm_(net.parameters(), max_norm=10) optimizer.step() ''' Attension: We need set 'loss.item()' to turn Tensor into Numpy, or plt will not work. ''' train_losses.append(loss.item()) train_loss = sum(train_losses) / len(train_losses) Loss_list.append(train_loss) print(f"[ Train | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {train_loss:.5f}") scheduler.step() for param_group in optimizer.param_groups: learning_rate_list.append(param_group["lr"]) print('learning rate %f' % param_group["lr"])# -------------Validation------------- ''' Validation is a step to ensure training process is working. You can also exploit Validation to see if your net work is overfitting. Firstly, you should set model.eval(), to ensure parameters not training. ''' net.eval() valid_losses = [] for batch in tqdm(valid_loader): inputs, labels = batch ''' Cancel gradient decent. ''' with torch.no_grad(): outputs, _ = net(inputs.to(device)) loss = loss_f(labels.to(device), outputs) loss = -loss valid_losses.append(loss.item()) valid_loss = sum(valid_losses) / len(valid_losses) Valid_Loss_list.append(valid_loss) print(f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f}") break_point = i + 1 ''' Update Logs and save the best model. Patience is also checked. ''' if valid_loss < best_valid_loss: print( f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f} -> best") else: print( f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f}") if valid_loss < best_valid_loss: print(f'Best model found at epoch {i+1}, saving model') torch.save(net.state_dict(), f'model_best.ckpt') best_valid_loss = valid_loss stale = 0 else: stale += 1 if stale > patience: print(f'No improvement {patience} consecutive epochs, early stopping.') break

        见注释即可。其中break_point用于记录训练结束的epoch值,stale用于记录模型未进步所持续的训练轮数,patience是预设的模型未进步所持续轮数的最大值。

记录训练信息及模型保存:

        部分内容是从上面的代码段截取的,由于实例较分散,我只在下面说明了其中比较典型的几个:

Loss_list.append(train_loss) # 用于后续绘制Loss曲线 print(f"[ Train | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {train_loss:.5f}")

        打印日志信息

print(f'Best model found at epoch {i+1}, saving model') torch.save(net.state_dict(), f'model_best.ckpt')

        保存模型(关于所保存文件的后缀.ckpt 和 .pth的区别此处不详述,可自行搜索)

'''Use plt to draw Loss curves.'''plt.figure(dpi=500)plt.subplot(211)x = range(break_point)y = Loss_listplt.plot(x, y, 'ro-', label='Train Loss')plt.plot(range(break_point), Valid_Loss_list, 'bs-', label='Valid Loss')plt.ylabel('Loss')plt.xlabel('epochs')plt.subplot(212)plt.plot(x, learning_rate_list, 'ro-', label='Learning rate')plt.ylabel('Learning rate')plt.xlabel('epochs')plt.legend()plt.show()

        利用matplotlib库绘制训练过程中重要参数变化曲线。

实验结果:

        先附上我的完整代码链接(注意前面提供的代码不完整,一些细节部分被我省略了,直接复制粘贴无法运行):

        Kaggle平台:PreNet | Kagglehttps://www.kaggle.com/code/leeding123/prenet        Gihub仓库(欢迎点星):Derain_platform/prenet.ipynb at f3249f6ee4f14055bf30c53239141bccecdcb0f2 · DLee0102/Derain_platform · GitHubContribute to DLee0102/Derain_platform development by creating an account on GitHub.https://github.com/DLee0102/Derain_platform/blob/f3249f6ee4f14055bf30c53239141bccecdcb0f2/prenet.ipynb        我在Heavy训练集上的训练结果:

         注:Loss曲线图中红色为训练集Loss蓝色为测试集Loss

        合成数据集上的去雨效果:

          真实数据集上的去雨效果:

本文链接地址:https://www.jiuchutong.com/zhishi/298425.html 转载请保留说明!

上一篇:ubuntu18.04配置ORB-SLAM3并跑EuRoC数据集(单目)(Ubuntu18.04配置允许远程访问)

下一篇:【CVPR 2023】FasterNet论文详解(cvpr2020结果)

  • 什么是进项税额转出
  • 收到以前年度退所得税分录
  • 企业所得税中资产总额平均值怎么核算?
  • 增值税何时需要交税
  • 电梯生产设备
  • 会计核算体系的重要性
  • 营改增之前的房产出售税率
  • 企业间资金往来 人员派驻
  • 超过保质期存储时间或变质的食品应该怎样处理
  • 收到报废车款要交什么税
  • 小规模企业残疾人免税政策
  • 技术开发费加计扣除优惠政策
  • 所得税汇算清缴扣除标准
  • 一般纳税人施工安装税点
  • 什么时候计入其他综合收益什么时候计入投资收益
  • 企业增值税去哪交
  • 本月已认证发票还能撤销吗
  • 挂靠的工程个人所得税怎么交?
  • 撤销申报增值税流程
  • php多线程怎么实现
  • PHP:get_meta_tags()的用法_url函数
  • 挂账多年的往来账怎么处理
  • 施工企业工程结算
  • 合并财务报表抵消损益怎么理解
  • win11的09累积更新
  • 销售折扣增值税如何处理
  • 差旅费的会计分录怎么做
  • php_fpm
  • 夕阳下的大白鲨过山车,美国新泽西州 (© John Van Decker/Alamy)
  • 外贸企业收到红字发票
  • 车船税不计提怎么做分录
  • gpts
  • 盘亏前累计折旧怎么算
  • smart模板教程
  • 税审报告什么时候需要
  • 房地产转让条例最新
  • 港口公司属于什么性质的单位
  • 现金支付的现状
  • 织梦使用手册
  • 织梦怎么调用当前栏目下的文章
  • 自由会计服务类工作者
  • 现金流量表四个部分
  • 售后领料怎么做会计分录
  • 个体商户个人所得税怎么算
  • 其他货币资金期末有余额吗
  • 待认证进项税额认证以后怎么做分录
  • 限定性净资产包括哪三个方面
  • 工程设备公司经营范围
  • 其他应付款长期挂账几年必须转收入
  • 前几个月的印花税怎么算
  • 补交进项转出的税分录
  • 材料自产自销的会计科目
  • 软件公司购进软件会计科目
  • 应付账款二级科目可以是个人吗
  • 销售包装物计入其他应收款吗
  • 差旅费用包含哪些
  • 本年利润在借方表示什么意思
  • 企业弥补亏损的顺序
  • 增值税进项税加计抵减
  • 小规模纳税人可以抵税吗
  • 某个项目投资款怎么入账
  • 何为调整事项
  • 园林土方施工有哪些分项工程
  • mysql日志有哪些
  • win10的java环境该怎么配置?java环境变量配置介绍
  • 服务器centos6.8安装教程
  • PRISMSVR.EXE - PRISMSVR是什么进程 有什么用
  • win7系统每次开机都要选择用户
  • win7开机桌面黑色
  • reald是什么格式
  • 怎么免费升级win10系统
  • cocos2dx 教程
  • nodejs函数返回值
  • shell delete
  • 用jquery实现全选
  • 传智播客javappt
  • jquery 右键菜单
  • 简述javascript中的函数
  • python程序解读举例
  • 网上报税失败怎么办
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设