位置: IT常识 - 正文

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

编辑:rootadmin
(四)孪生神经网络介绍及pytorch实现

推荐整理分享(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:孪生神经网络 pytorch,孪生物什么意思,孪生物什么意思,孪生神经网络图像分类,孪生神经网络 pytorch,孪生神经网络图像分类,孪生神经网络模型,孪生神经网络应用,内容如对您有帮助,希望把文章链接给更多的朋友!

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

孪生神经网络介绍及pytorch实现1.孪生神经网络2.孪生神经网络的损失函数2.1 Triplet Loss2.2 Contrastive Loss3.动手实现一个孪生网络3.1 网络结构3.2 损失函数3.3 数据3.4 训练结果4.SiameseNetWork的一些应用参考资料1.孪生神经网络

在深度学习领域,神经网络取得了成功。但普通的神经网络模型的训练需要大量的数据,对于一些数据有限的场景,如人脸验证,签字验证,必须考虑其他方法。

Siamese 古语表示瞿罗,即现在的泰国,如Siamese cat,之所以Siamese表示孪生,是因为19世纪瞿罗出了一对连体双胞胎,在美国玲玲马戏团做演出比较出名,因此提起Siamese即表示孪生的意思。1

孪生神经网络Siamese Network,如其名字孪生Siamese的意思即存在连体,连体即彼此共享一部分。孪生神经网络的结构也包括两个子网络,两个子网络之间共享权重。

> 图片来自于1

如上图,两个网络是同一个并共享权重,当两个子网络不共享权重时,通常定义为伪孪生神经网络。

图片来自于1

从上面的图中可以看出来,孪生神经网络有两个输入,input1和input2,因此孪生神经网络常用来通过比较两个输入特征向量的距离来衡量两个输入的相似度。早在1993年的NIPS上Yann Lecun就发表了使用孪生神经网络做签名验证的论文。现在的人脸识别应用也有基于孪生神经来做的。

孪生神经网络的优点,对于类别不平衡问题更鲁棒,更易于做集成学习(Ensemble Learning),可以从语义相似性上学习来估测两个输入的距离。孪生神经网络的缺点,由于有两个输入,两个子网,其训练相对于常规网络运算量更大,需要的时间更长。输出的结果不是概率,孪生神经网络时成对的输入,其输出是两个类间的距离而不是概率。

2.孪生神经网络的损失函数

由与孪生神经网络是计算的两个输入的相似度,距离,而不是对输入做分类,因此交叉商损失函数不适用于此种场景,孪生神经网络的常用的损失函数有Triplet Loss和Contrastive Loss。

2.1 Triplet Loss

Triplet Loss三元组损失函数,其应用见谷歌2015年发表在CVPR上的做人脸验证的论文facenet。该损失函数定义一个三元组作为输入,分别是(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​)这三个输入的通过如下方式构成,先从训练数据集中随机选一个样本作为Anchor,再随机选取一个和Anchor属于同一类的样本作为正样本XpositiveX_{positive}Xpositive​,和一个不同类的样本作为负样本XnegativeX_{negative}Xnegative​,通过这种方式定义一个输入的三元组(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​),将其输入到网络可以得到对应的特征向量[f(Xanchor),f(Xpositive),f(Xnegative)][f(X_{anchor}),f(X_{positive}),f(X_{negative})][f(Xanchor​),f(Xpositive​),f(Xnegative​)],Triplet Loss的目的是通过训练,使得同种类别的距离更近,不通类别的距离更大,即拉近anchor与positive推远anchor和negative,如下图:

图片来自FaceNet论文

通过这种相似度比较式的学习,模型不仅与同类别更像,还学会了与不同类别增大区分度的信息。通常定义一个α\alphaα,使得Anchor距离Negative的距离比距离Positive大α\alphaα,公式化表示为:

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

∣∣f(Xanchor)−f(Xnegative)∣∣−∣∣f(Xanchor)−f(Xpositive)∣∣>α||f(X_{anchor}) - f(X_{negative})|| - ||f(X_{anchor}) - f(X_{positive})|| \gt \alpha∣∣f(Xanchor​)−f(Xnegative​)∣∣−∣∣f(Xanchor​)−f(Xpositive​)∣∣>α

定义为:

L(Xanchor,Xpositive,Xnegative)=max(∣∣f(Xanchor)−f(Xpositive)∣∣−∣∣f(Xanchor)−f(Xnegative)∣∣+α,)L(X_{anchor}, X_{positive}, X_{negative}) = max(||f(X_{anchor}) - f(X_{positive})|| - ||f(X_{anchor}) - f(X_{negative})|| + \alpha, 0)L(Xanchor​,Xpositive​,Xnegative​)=max(∣∣f(Xanchor​)−f(Xpositive​)∣∣−∣∣f(Xanchor​)−f(Xnegative​)∣∣+α,0)

2.2 Contrastive Loss

衡量相似度的另一常用函数是Yann Lecun在2005年的一篇论文Dimensionality Reduction by Learning an Invariant Mapping中使用的Contrastive Loss。

Contrastive Loss的输入是一对样本,基于相似的一对对象特征距离应该更小,不相似的一对对象特征距离应该较大来计算。从数据中选一对样本(Xa,Xb)(X_a, X_b)(Xa​,Xb​),这两个样本的欧式距离表示为d=∣∣Xa−Xb∣∣2=(Xa−Xb)2d=||X_a-X_b||_2=\sqrt{({X_a-X_b})^2}d=∣∣Xa​−Xb​∣∣2​=(Xa​−Xb​)2​,则Contrastive Loss可表示为: L(Xa,Xb)=(1−Y)12d2+Y12{max(,m−d)}2L(X_a,X_b) = (1-Y)\frac{1}{2}d^2 + Y\frac{1}{2}\{max(0, m-d)\}^2L(Xa​,Xb​)=(1−Y)21​d2+Y21​{max(0,m−d)}2

Y表示(Xa,Xb)(X_a,X_b)(Xa​,Xb​)是否匹配,匹配为1不匹配为0

m是设置的安全距离,当(Xa,Xb)(X_a, X_b)(Xa​,Xb​)的距离小于mmm时,Contrasive Loss将变成0,这使得XaX_aXa​与XbX_bXb​相似而不是相同,能保证算法的泛化能力

3.动手实现一个孪生网络3.1 网络结构

这里使用Contrasive Loss定义一个孪生神经网络,网络结构如图:

这里上下两个网络使用同一个网络来实现,对于两个输入,每一步推理使用相同的权重forward两次,然后计算损失函数更新权重,这里并没有定义两个网络。为了简化训练,自定义了比较小的网络

class SiameseNetwork(nn.Module): """Custom Siamese Network """ def __init__(self): super(SiameseNetwork, self).__init__() self.cnn = nn.Sequential( nn.Conv2d(1, 128, kernel_size=5, stride=3, padding=2), # 10 nn.ReLU(inplace=True), nn.LocalResponseNorm(5, alpha=0.001, beta=.75, k=2), # TODO nn.MaxPool2d(4, stride=2), # 4 nn.Dropout2d(p=.5), ) # 12544 self.fc = nn.Sequential( nn.Linear(2048, 512), nn.ReLU(inplace=True), nn.Dropout2d(p=0.5), nn.Linear(512, 128), nn.ReLU(inplace=True), nn.Linear(128, 2) ) def forward_once(self, x): y = self.cnn(x) y = y.view(y.size()[0], -1) y = self.fc(y) return y def forward(self, x1, x2): y1 = self.forward_once(x1) y2 = self.forward_once(x2) return y1, y23.2 损失函数

损失函数使用的是前述的Contrastive Loss,其定义为:

class ContrastiveLoss(torch.nn.Module): def __init__(self, margin): super(ContrastiveLoss, self).__init__() self.margin = margin def forward(self, x1, x2, y): dist = F.pairwise_distance(x1, x2) total_loss = (1-y) * torch.pow(dist, 2) + \ y * torch.pow(torch.clamp_min_(self.margin - dist, 0), 2) loss = torch.mean(total_loss) return loss3.3 数据

这里使用的是基于MNIST数据集随机选取的1000张图像然后生成了8000对作为输入来训练的,测试时输入两张手写字图片输出其相似度。

3.4 训练结果

训练了20个epoch,损失函数值的变化趋势如下图:

由于使用的batch_size较小,迭代的次数较少,可以看到损失函数没有很好的收敛。且打开训练数据看了下自己生成的train.csv中的图像对,绝大部分label都是0,存在严重的数据不平衡问题,需要改进。在测试数据上的输出,对于有些输入可以比较好的衡量其相似度。

Predicted Distance: 0.0020178589038550854Actual Label: Different SignaturePredicted Distance: 0.0002805054828058928Actual Label: Same SignaturePredicted Distance: 0.003011130029335618Actual Label: Different SignaturePredicted Distance: 0.0018709745490923524Actual Label: Different Signature

完整代码见gitee仓库

4.SiameseNetWork的一些应用

1.签名验证Signature Verification using a “Siamese” Time Delay Neural Network

2.三胞胎网络Deep metric learning using Triplet network

3.One-ShotLearning, Siamese Neural Networks for One-shot Image Recognition

4.人脸验证Learning a Similarity Metric Discriminatively, with Application to Face Verification

参考资料1.Siamese network 孪生神经网络–一个简单神奇的结构2.FaceNet3.Contrastive Loss4.A friendly introduction to Siamese Networks

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

本文链接地址:https://www.jiuchutong.com/zhishi/298737.html 转载请保留说明!

上一篇:ChatGPT 被大面积封号,到底发生什么了?

下一篇:Ubuntu22.04 下安装驱动、CUDA、cudnn以及TensorRT(ubuntu20.04.1安装)

  • 纳税人未缴少缴税款
  • 购买理财产品是什么意思?
  • 年报的资产负债率在哪里
  • 对外捐赠固定资产属于营业外支出吗
  • 工程施工的借方和贷方
  • 临时占用耕地可以种树吗
  • 在建工程当中哪些是资产
  • 公司给员工股票计税
  • 申请补贴费用怎么写
  • 采购合同中含税金额
  • 关于财产保险公司的论文
  • 税务稽查的内容
  • 银行处置以物抵债违法吗
  • 生活用品发票可以报销吗
  • 有形动产经营租赁服务税率
  • 企业所得税能否核定征收
  • 商业土地厂房办公房过户需要交什么税?
  • 人力资源部报销购买办公家具款
  • 研发费水电费比例怎么分配
  • 电子缴税付款凭证怎么做记账凭证
  • 会计中的贷款核算分录是什么?
  • 如何制作macos bigsur的启动盘
  • 收到投资款怎么处理帐
  • 房地产行业需要做环评吗
  • 超市发购物卡给员工会计分录
  • bios怎么恢复出厂设置会怎么样
  • linux系统中如何查看日志
  • 右击任务栏启动怎么关闭
  • linux grep使用
  • stk al00华为
  • 个人出差借款会计分录
  • 在linux中使用什么命令可以动态查看文件内容
  • PHP:pg_copy_to()的用法_PostgreSQL函数
  • 录入财务凭证
  • 会计分录内容包括
  • chart.js教程
  • 学生兼职收入按什么交个税
  • php判断字符串是否存在
  • 浏览器分析
  • 视频监控接入方式有哪几种
  • 什么样的费用算研发费用
  • 什么是进项税转出成本
  • 劳务公司承接项目的方案怎么写
  • 主营业务收入在哪个报表里面
  • 一般纳税人增值税减免政策2023
  • 没有发票的运输费用怎么入账
  • 接受劳务应付未付款费用
  • 提取折旧的意义
  • 营利性养老机构有补贴吗
  • 公司账户收入多少要扣税
  • 旅客运送的一般规定
  • 住房租金专项附加扣除金额
  • 企业年度报告中的什么信息由企业选择是否向社会公示
  • mysql8.0设置字符集编码
  • SQL Transcation的一些总结分享
  • jdbc取数据
  • mac硬盘挂载软件
  • fedoral
  • 笔记本bios密码怎么强制清除
  • vrvprotect.sys
  • windows10玩lol有延迟怎么办
  • 如何在安装未知应用中修改权限
  • xp 控制面板
  • 电脑找不到关机选项了怎么关机
  • 微软首席科学家薪水
  • 强制升级win11后果
  • cocos2d js教程
  • unity做app开发
  • 游戏unity报错
  • 自定义控件英文
  • Unable to execute dex: Multiple dex files define 解决方法
  • js onkeypress与onkeydown 事件区别详细说明
  • javascript学习指南
  • 第一个javascript程序
  • android应用开发基础课后答案
  • 云南省国家税务局网上办税服务厅
  • 销售黄金饰品
  • 江苏省税务局电话咨询热线
  • 南通房屋登记系统
  • 税务总局2016年70号公告
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设