位置: IT常识 - 正文

深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

编辑:rootadmin
深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

推荐整理分享深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

        本文参考文献:Progressive Image Deraining Networks: A Better and Simpler Baseline Dongwei Ren1, Wangmeng Zuo2, Qinghua Hu∗1, Pengfei Zhu1, and Deyu Meng31College of Computing and Intelligence, Tianjin University, Tianjin, China 2School of Computer Science and Technology, Harbin Institute of Technology, Harbin, China 3Xi’an Jiaotong University, Xi’an, China

        论文下载网址:[1901.09221] Progressive Image Deraining Networks: A Better and Simpler Baseline (arxiv.org)https://arxiv.org/abs/1901.09221

        论文作者提供的Github实验源码:https://github.com/csdwren/PReNet.

        关于论文:本文参考论文的主要贡献是提出了一种简单易实现且有较好效果的去雨网络架构PreNet,虽然其所用技术不是最先进的,但却有着十分优秀的去雨效果,因此作者认为这是一种可供众多研究者学习和实验对比使用的优良的基准模型。而在我看来,正是由于模型的以上这些特点,PreNet也十分适合深度学习去雨入门研究者进行学习和实现。

        接下来将仔细说明一种十分简便的实现方法以及部分实验原理。

实验环境

        首先介绍实现的实验环境。新手建议首选在以下网址注册账号(注册需科学上网,后续使用不必)利用线上环境写Pytorch代码,并将模型放网站提供的免费云算力服务器上训练。可以省去新手配置本地cuda环境的烦恼。

Kaggle: Your Home for Data Sciencehttps://www.kaggle.com/

        点击左侧 Code

         再点击 New Notebook 即可开启线上编程环境

         线上编程环境和Jupyter类似,进入编程界面后可以在上方菜单栏设置界面外观选项(可以选择添加行号以便于查看代码)。右侧可选择加速器,我推荐使用GPU P100。

         代码编写及调试完成后点击右上角 Save Version 来讲模型放在云GPU上训练(注意保存的版本无法手动删除,因此一定要确认代码调试无误后再点击 Save Version,以免版本太多造成的混乱)。

        以上即是对编程环境的基本介绍,下面详细介绍实现步骤。

具体实现

        图像去雨任务和图像分类任务的处理流程相似,都是:数据处理 --> 模型构建 --> 训练 --> 记录训练信息及模型保存。接下来将结合代码详细介绍。

        数据处理:'''Dataset for Training.'''class MyTrainDataset(Dataset): def __init__(self, input_path, label_path): self.input_path = input_path self.input_files = os.listdir(input_path) self.label_path = label_path self.label_files = os.listdir(label_path) self.transforms = transforms.Compose([ transforms.CenterCrop([64, 64]), transforms.ToTensor(), ]) def __len__(self): return len(self.input_files) def __getitem__(self, index): label_image_path = os.path.join(self.label_path, self.label_files[index]) label_image = Image.open(label_image_path).convert('RGB') ''' Ensure input and label are in couple. ''' temp = self.label_files[index][:-4] self.input_files[index] = temp + 'x2.png' input_image_path = os.path.join(self.input_path, self.input_files[index]) input_image = Image.open(input_image_path).convert('RGB') input = self.transforms(input_image) label = self.transforms(label_image) return input, label'''Dataset for testing.'''class MyValidDataset(Dataset): def __init__(self, input_path, label_path): self.input_path = input_path self.input_files = os.listdir(input_path) self.label_path = label_path self.label_files = os.listdir(label_path) self.transforms = transforms.Compose([ transforms.CenterCrop([64, 64]), transforms.ToTensor(), ]) def __len__(self): return len(self.input_files) def __getitem__(self, index): label_image_path = os.path.join(self.label_path, self.label_files[index]) label_image = Image.open(label_image_path).convert('RGB') temp = self.label_files[index][:-4] self.input_files[index] = temp + 'x2.png' input_image_path = os.path.join(self.input_path, self.input_files[index]) input_image = Image.open(input_image_path).convert('RGB') input = self.transforms(input_image) label = self.transforms(label_image) return input, label

         上面的代码分为两个部分:分别是训练集和测试集的Dataset类的重写。这是自定义Pytorch数据集处理方式的比较方便的处理方式。由于训练集和测试集的处理方式一致,这里仅对训练集的处理方式进行介绍。

        首先我们需要明白,为什么我们特别地需要重写__init__, __length__, __getitem__ 这三个Dataset()类的方法,因为后续处理中封装用的DataLoader类需要调用Dataset对象的这三个函数来获取数据集的相关信息,这个关系可以理解为:DataLoader类负责将数据切分为很多个批次(batch)以分批次进行训练,而Dataset负责记录数据整体信息处理每一批次中的每一对标签和输入数据的内容。换句话说,Dataset类只负责记录整体数据信息处理一对标签和输入数据对,而DataLoader将Dataset的处理方式循环地应用到整个数据集上。因此,对于不同的数据集我们要重写Dataset类的这三个函数以改变DataLoader处理数据的方式。

深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

        明白了以上内容,我们就好理解这三个函数的运作方式了:__init__和 __length__负责记录数据集的一些基本信息,__length__的内容一定是返回输入数据项的长度(不可更改),而__init__用于初始化你需要用到的一些基本变量(可高度自定义),这些变量将在__getitem__中被调用。__getitem__就负责处理每一对数据对的匹配输出,其关键是一定要保证最后 return 的 input 和 label 是成对的。

        以下是创建Dataset和DataLoader对象的过程:

'''Path of Dataset.'''input_path = "../input/jrdr-deraining-dataset/JRDR/rain_data_train_Heavy/rain/X2"label_path = "../input/jrdr-deraining-dataset/JRDR/rain_data_train_Heavy/norain"valid_input_path = '../input/jrdr-deraining-dataset/JRDR/rain_data_test_Heavy/rain/X2'valid_label_path = '../input/jrdr-deraining-dataset/JRDR/rain_data_test_Heavy/norain''''Prepare DataLoaders.Attension: 'pin_numbers=True' can accelorate CUDA computing.'''dataset_train = MyTrainDataset(input_path, label_path)dataset_valid = MyValidDataset(valid_input_path, valid_label_path)train_loader = DataLoader(dataset_train, batch_size=batch_size, shuffle=True, pin_memory=True)valid_loader = DataLoader(dataset_valid, batch_size=batch_size, shuffle=True, pin_memory=True)

       需要注意的是我使用的是Kaggle网站上提供的线上数据集,可自行搜索添加:

         你可以选择使用Heavy数据集训练,也可以使用Light,分别对应人工合成的大雨和小雨数据集。我推荐使用Heavy,使用Heavy训练出来的模型对于真实下雨场景的去雨效果更明显。

        模型构建:# 网络架构class PReNet_r(nn.Module): def __init__(self, recurrent_iter=6, use_GPU=True): super(PReNet_r, self).__init__() self.iteration = recurrent_iter self.use_GPU = use_GPU self.conv0 = nn.Sequential( nn.Conv2d(6, 32, 3, 1, 1), nn.ReLU() ) self.res_conv1 = nn.Sequential( nn.Conv2d(32, 32, 3, 1, 1), nn.ReLU(), nn.Conv2d(32, 32, 3, 1, 1), nn.ReLU() ) self.conv_i = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv_f = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv_g = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Tanh() ) self.conv_o = nn.Sequential( nn.Conv2d(32 + 32, 32, 3, 1, 1), nn.Sigmoid() ) self.conv = nn.Sequential( nn.Conv2d(32, 3, 3, 1, 1), ) def forward(self, input): batch_size, row, col = input.size(0), input.size(2), input.size(3) #mask = Variable(torch.ones(batch_size, 3, row, col)).cuda() x = input h = Variable(torch.zeros(batch_size, 32, row, col)) c = Variable(torch.zeros(batch_size, 32, row, col)) if self.use_GPU: h = h.cuda() c = c.cuda() x_list = [] for i in range(self.iteration): x = torch.cat((input, x), 1) x = self.conv0(x) x = torch.cat((x, h), 1) i = self.conv_i(x) f = self.conv_f(x) g = self.conv_g(x) o = self.conv_o(x) c = f * c + i * g h = o * torch.tanh(c) x = h for j in range(5): resx = x x = F.relu(self.res_conv1(x) + resx) x = self.conv(x) x = input + x x_list.append(x) return x, x_list

        我直接照搬的论文源码的网络架构,简单来说,该网络就是结合了LSTM和递归残差网络的处理方式。你暂时可以不用理解,直接用就行。如果想要进行深入了解的话可以查看本文开头处提供的原文链接或本站搜索论文翻译。

        训练:'''Define optimizer and Loss Function.'''optimizer = optim.RAdam(net.parameters(), lr=learning_rate)scheduler = CosineAnnealingLR(optimizer, T_max=epoch)loss_f = SSIM()

        首先初始化优化器和损失函数,采用RAdam优化器(Adam优化器的基础上增加了warm-up的功能)并使用CosineAnnealingLR(余弦退火算法)让学习率随训练轮数呈余弦变化,以优化训练结果。

        SSIM损失函数使用的是论文作者提供的源码:

# SSIM损失函数实现def gaussian(window_size, sigma): gauss = torch.Tensor([exp(-(x - window_size//2)**2/float(2*sigma**2)) for x in range(window_size)]) return gauss/gauss.sum()def create_window(window_size, channel): _1D_window = gaussian(window_size, 1.5).unsqueeze(1) _2D_window = _1D_window.mm(_1D_window.t()).float().unsqueeze(0).unsqueeze(0) window = Variable(_2D_window.expand(channel, 1, window_size, window_size).contiguous()) return windowdef _ssim(img1, img2, window, window_size, channel, size_average = True): mu1 = F.conv2d(img1, window, padding = window_size//2, groups = channel) mu2 = F.conv2d(img2, window, padding = window_size//2, groups = channel) mu1_sq = mu1.pow(2) mu2_sq = mu2.pow(2) mu1_mu2 = mu1*mu2 sigma1_sq = F.conv2d(img1*img1, window, padding = window_size//2, groups = channel) - mu1_sq sigma2_sq = F.conv2d(img2*img2, window, padding = window_size//2, groups = channel) - mu2_sq sigma12 = F.conv2d(img1*img2, window, padding = window_size//2, groups = channel) - mu1_mu2 C1 = 0.01**2 C2 = 0.03**2 ssim_map = ((2*mu1_mu2 + C1)*(2*sigma12 + C2))/((mu1_sq + mu2_sq + C1)*(sigma1_sq + sigma2_sq + C2)) if size_average: return ssim_map.mean() else: return ssim_map.mean(1).mean(1).mean(1)class SSIM(torch.nn.Module): def __init__(self, window_size = 11, size_average = True): super(SSIM, self).__init__() self.window_size = window_size self.size_average = size_average self.channel = 1 self.window = create_window(window_size, self.channel) def forward(self, img1, img2): (_, channel, _, _) = img1.size() if channel == self.channel and self.window.data.type() == img1.data.type(): window = self.window else: window = create_window(self.window_size, channel) if img1.is_cuda: window = window.cuda(img1.get_device()) window = window.type_as(img1) self.window = window self.channel = channel return _ssim(img1, img2, window, self.window_size, channel, self.size_average)def ssim(img1, img2, window_size = 11, size_average = True): (_, channel, _, _) = img1.size() window = create_window(window_size, channel) if img1.is_cuda: window = window.cuda(img1.get_device()) window = window.type_as(img1) return _ssim(img1, img2, window, window_size, channel, size_average)

        SSIM是一种评估两幅图像相似度的算法,具体原理此处不再详述,你只需要记住其值越大两张图像相似度越高,值为一则两张图象完全一样。因此我们在后续训练时需要取SSIM的负值。

        下面是循环训练的代码:

'''START Training ...'''for i in range(epoch):# ---------------Train---------------- net.train() train_losses = [] ''' tqdm is a toolkit for progress bar. ''' for batch in tqdm(train_loader): inputs, labels = batch outputs, _ = net(inputs.to(device)) loss = loss_f(labels.to(device), outputs) loss = -loss optimizer.zero_grad() loss.backward() ''' Avoid grad to be too BIG. ''' grad_norm = nn.utils.clip_grad_norm_(net.parameters(), max_norm=10) optimizer.step() ''' Attension: We need set 'loss.item()' to turn Tensor into Numpy, or plt will not work. ''' train_losses.append(loss.item()) train_loss = sum(train_losses) / len(train_losses) Loss_list.append(train_loss) print(f"[ Train | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {train_loss:.5f}") scheduler.step() for param_group in optimizer.param_groups: learning_rate_list.append(param_group["lr"]) print('learning rate %f' % param_group["lr"])# -------------Validation------------- ''' Validation is a step to ensure training process is working. You can also exploit Validation to see if your net work is overfitting. Firstly, you should set model.eval(), to ensure parameters not training. ''' net.eval() valid_losses = [] for batch in tqdm(valid_loader): inputs, labels = batch ''' Cancel gradient decent. ''' with torch.no_grad(): outputs, _ = net(inputs.to(device)) loss = loss_f(labels.to(device), outputs) loss = -loss valid_losses.append(loss.item()) valid_loss = sum(valid_losses) / len(valid_losses) Valid_Loss_list.append(valid_loss) print(f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f}") break_point = i + 1 ''' Update Logs and save the best model. Patience is also checked. ''' if valid_loss < best_valid_loss: print( f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f} -> best") else: print( f"[ Valid | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {valid_loss:.5f}") if valid_loss < best_valid_loss: print(f'Best model found at epoch {i+1}, saving model') torch.save(net.state_dict(), f'model_best.ckpt') best_valid_loss = valid_loss stale = 0 else: stale += 1 if stale > patience: print(f'No improvement {patience} consecutive epochs, early stopping.') break

        见注释即可。其中break_point用于记录训练结束的epoch值,stale用于记录模型未进步所持续的训练轮数,patience是预设的模型未进步所持续轮数的最大值。

记录训练信息及模型保存:

        部分内容是从上面的代码段截取的,由于实例较分散,我只在下面说明了其中比较典型的几个:

Loss_list.append(train_loss) # 用于后续绘制Loss曲线 print(f"[ Train | {i + 1:03d}/{epoch:03d} ] SSIM_loss = {train_loss:.5f}")

        打印日志信息

print(f'Best model found at epoch {i+1}, saving model') torch.save(net.state_dict(), f'model_best.ckpt')

        保存模型(关于所保存文件的后缀.ckpt 和 .pth的区别此处不详述,可自行搜索)

'''Use plt to draw Loss curves.'''plt.figure(dpi=500)plt.subplot(211)x = range(break_point)y = Loss_listplt.plot(x, y, 'ro-', label='Train Loss')plt.plot(range(break_point), Valid_Loss_list, 'bs-', label='Valid Loss')plt.ylabel('Loss')plt.xlabel('epochs')plt.subplot(212)plt.plot(x, learning_rate_list, 'ro-', label='Learning rate')plt.ylabel('Learning rate')plt.xlabel('epochs')plt.legend()plt.show()

        利用matplotlib库绘制训练过程中重要参数变化曲线。

实验结果:

        先附上我的完整代码链接(注意前面提供的代码不完整,一些细节部分被我省略了,直接复制粘贴无法运行):

        Kaggle平台:PreNet | Kagglehttps://www.kaggle.com/code/leeding123/prenet        Gihub仓库(欢迎点星):Derain_platform/prenet.ipynb at f3249f6ee4f14055bf30c53239141bccecdcb0f2 · DLee0102/Derain_platform · GitHubContribute to DLee0102/Derain_platform development by creating an account on GitHub.https://github.com/DLee0102/Derain_platform/blob/f3249f6ee4f14055bf30c53239141bccecdcb0f2/prenet.ipynb        我在Heavy训练集上的训练结果:

         注:Loss曲线图中红色为训练集Loss蓝色为测试集Loss

        合成数据集上的去雨效果:

          真实数据集上的去雨效果:

本文链接地址:https://www.jiuchutong.com/zhishi/298425.html 转载请保留说明!

上一篇:ubuntu18.04配置ORB-SLAM3并跑EuRoC数据集(单目)(Ubuntu18.04配置允许远程访问)

下一篇:【CVPR 2023】FasterNet论文详解(cvpr2020结果)

  • 如何成为一般纳税人的条件
  • 双定户经营所得用申报吗
  • 今年补交上年的对外捐赠(视同销售收入)的税怎么处理?
  • 应收账款贷方余额怎么调平
  • 年末暂估下年怎么入账
  • 购进生产设备的会计分录
  • 一人有限公司年度审计报告
  • 当地外包公司是干什么的
  • 已上传的红字发票怎么打印
  • 企业租赁个人房屋怎么交税
  • 企业停产是否需要自行监测
  • 对方把发票丢了可以重开吗
  • 现金折扣为什么计入主营业务收入
  • 朋友抵押贷款通过我公司名义会怎样
  • 进出口企业如何防范汇率风险
  • 企业财产保险费率的影响因素
  • 企业未实际列支教育经费要纳税调整吗?
  • 去年12月份到现在有多少天了
  • 旅游业相关行业
  • 企业的业务招待费多了好还是少了好
  • 新准则 预提费用
  • 什么发票可以抵成本
  • 出租房产免收租金,如何缴纳房产税
  • win10怎么查看电池健康度
  • 财务都干些什么
  • 发出委托加工物资
  • 定期存款是否属于受限资金
  • 政府补助计量的基础是
  • 防伪税控技术维护费可以全额抵扣吗
  • msmpeng.exe是什么进程
  • bios中怎么设置显卡
  • 企业个人借款会计分录
  • 增值税按简易计价方式
  • 年底所得税账务处理
  • 机动车发票金额含税吗
  • php静态方法调用
  • 增值税申报表上期留抵税额怎么填
  • 当年实现的利润弥补以前年度亏损还是提盈余公积
  • element ui的作用
  • 基于Java+SpringBoot+vue+elementui药品商城采购系统详细设计实现
  • 财务费用的利息费用怎么算
  • 小企业固定资产折旧方法
  • 处置固定资产开发票
  • 个人综合所得汇算申报流程
  • 工业企业缴纳增值税吗
  • 事业单位以固定工资为准
  • 注册资本认缴与实缴有什么区别
  • 预付款为什么不能抵消工程款
  • 基金赎回可以赎回部分吗
  • 公司是生产企业现在要开出租赁的发票可以开吗
  • 所税税汇算补交怎么算
  • 冲销预付账款怎么填记账凭证
  • 互联网企业招商手册
  • 资产减值损失和资产处置损益区别
  • 房地产企业的企业所得税是多少
  • 促销服务属于什么服务按什么征增值税
  • 青苗赔偿管理办法
  • 实收资本怎么确认入账
  • 购买电脑增值税税率是多少
  • 税金及附加如何记账
  • 生产型企业电费会计分录
  • 财务费用中的利息费用指什么
  • win10文字模糊怎么调整
  • centos怎么执行文件
  • freebsd配置dns
  • scards32.exe - scards32是什么进程 有什么用
  • linux 开启snmp
  • 如何下载安装windows10
  • win8 设置
  • JavaScript的setter与getter方法
  • shell 1
  • javascript怎么样
  • js中返回上一页
  • window运行怎么打开
  • 老司机指的是
  • android 图形引擎
  • 高速公路发票在哪里开
  • 进项税留抵怎么消化掉
  • 小规模纳税季度申报
  • 广西定额发票查询入口官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设