位置: IT常识 - 正文

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

编辑:rootadmin
(四)孪生神经网络介绍及pytorch实现

推荐整理分享(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:孪生神经网络 pytorch,孪生物什么意思,孪生物什么意思,孪生神经网络图像分类,孪生神经网络 pytorch,孪生神经网络图像分类,孪生神经网络模型,孪生神经网络应用,内容如对您有帮助,希望把文章链接给更多的朋友!

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

孪生神经网络介绍及pytorch实现1.孪生神经网络2.孪生神经网络的损失函数2.1 Triplet Loss2.2 Contrastive Loss3.动手实现一个孪生网络3.1 网络结构3.2 损失函数3.3 数据3.4 训练结果4.SiameseNetWork的一些应用参考资料1.孪生神经网络

在深度学习领域,神经网络取得了成功。但普通的神经网络模型的训练需要大量的数据,对于一些数据有限的场景,如人脸验证,签字验证,必须考虑其他方法。

Siamese 古语表示瞿罗,即现在的泰国,如Siamese cat,之所以Siamese表示孪生,是因为19世纪瞿罗出了一对连体双胞胎,在美国玲玲马戏团做演出比较出名,因此提起Siamese即表示孪生的意思。1

孪生神经网络Siamese Network,如其名字孪生Siamese的意思即存在连体,连体即彼此共享一部分。孪生神经网络的结构也包括两个子网络,两个子网络之间共享权重。

> 图片来自于1

如上图,两个网络是同一个并共享权重,当两个子网络不共享权重时,通常定义为伪孪生神经网络。

图片来自于1

从上面的图中可以看出来,孪生神经网络有两个输入,input1和input2,因此孪生神经网络常用来通过比较两个输入特征向量的距离来衡量两个输入的相似度。早在1993年的NIPS上Yann Lecun就发表了使用孪生神经网络做签名验证的论文。现在的人脸识别应用也有基于孪生神经来做的。

孪生神经网络的优点,对于类别不平衡问题更鲁棒,更易于做集成学习(Ensemble Learning),可以从语义相似性上学习来估测两个输入的距离。孪生神经网络的缺点,由于有两个输入,两个子网,其训练相对于常规网络运算量更大,需要的时间更长。输出的结果不是概率,孪生神经网络时成对的输入,其输出是两个类间的距离而不是概率。

2.孪生神经网络的损失函数

由与孪生神经网络是计算的两个输入的相似度,距离,而不是对输入做分类,因此交叉商损失函数不适用于此种场景,孪生神经网络的常用的损失函数有Triplet Loss和Contrastive Loss。

2.1 Triplet Loss

Triplet Loss三元组损失函数,其应用见谷歌2015年发表在CVPR上的做人脸验证的论文facenet。该损失函数定义一个三元组作为输入,分别是(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​)这三个输入的通过如下方式构成,先从训练数据集中随机选一个样本作为Anchor,再随机选取一个和Anchor属于同一类的样本作为正样本XpositiveX_{positive}Xpositive​,和一个不同类的样本作为负样本XnegativeX_{negative}Xnegative​,通过这种方式定义一个输入的三元组(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​),将其输入到网络可以得到对应的特征向量[f(Xanchor),f(Xpositive),f(Xnegative)][f(X_{anchor}),f(X_{positive}),f(X_{negative})][f(Xanchor​),f(Xpositive​),f(Xnegative​)],Triplet Loss的目的是通过训练,使得同种类别的距离更近,不通类别的距离更大,即拉近anchor与positive推远anchor和negative,如下图:

图片来自FaceNet论文

通过这种相似度比较式的学习,模型不仅与同类别更像,还学会了与不同类别增大区分度的信息。通常定义一个α\alphaα,使得Anchor距离Negative的距离比距离Positive大α\alphaα,公式化表示为:

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

∣∣f(Xanchor)−f(Xnegative)∣∣−∣∣f(Xanchor)−f(Xpositive)∣∣>α||f(X_{anchor}) - f(X_{negative})|| - ||f(X_{anchor}) - f(X_{positive})|| \gt \alpha∣∣f(Xanchor​)−f(Xnegative​)∣∣−∣∣f(Xanchor​)−f(Xpositive​)∣∣>α

定义为:

L(Xanchor,Xpositive,Xnegative)=max(∣∣f(Xanchor)−f(Xpositive)∣∣−∣∣f(Xanchor)−f(Xnegative)∣∣+α,)L(X_{anchor}, X_{positive}, X_{negative}) = max(||f(X_{anchor}) - f(X_{positive})|| - ||f(X_{anchor}) - f(X_{negative})|| + \alpha, 0)L(Xanchor​,Xpositive​,Xnegative​)=max(∣∣f(Xanchor​)−f(Xpositive​)∣∣−∣∣f(Xanchor​)−f(Xnegative​)∣∣+α,0)

2.2 Contrastive Loss

衡量相似度的另一常用函数是Yann Lecun在2005年的一篇论文Dimensionality Reduction by Learning an Invariant Mapping中使用的Contrastive Loss。

Contrastive Loss的输入是一对样本,基于相似的一对对象特征距离应该更小,不相似的一对对象特征距离应该较大来计算。从数据中选一对样本(Xa,Xb)(X_a, X_b)(Xa​,Xb​),这两个样本的欧式距离表示为d=∣∣Xa−Xb∣∣2=(Xa−Xb)2d=||X_a-X_b||_2=\sqrt{({X_a-X_b})^2}d=∣∣Xa​−Xb​∣∣2​=(Xa​−Xb​)2​,则Contrastive Loss可表示为: L(Xa,Xb)=(1−Y)12d2+Y12{max(,m−d)}2L(X_a,X_b) = (1-Y)\frac{1}{2}d^2 + Y\frac{1}{2}\{max(0, m-d)\}^2L(Xa​,Xb​)=(1−Y)21​d2+Y21​{max(0,m−d)}2

Y表示(Xa,Xb)(X_a,X_b)(Xa​,Xb​)是否匹配,匹配为1不匹配为0

m是设置的安全距离,当(Xa,Xb)(X_a, X_b)(Xa​,Xb​)的距离小于mmm时,Contrasive Loss将变成0,这使得XaX_aXa​与XbX_bXb​相似而不是相同,能保证算法的泛化能力

3.动手实现一个孪生网络3.1 网络结构

这里使用Contrasive Loss定义一个孪生神经网络,网络结构如图:

这里上下两个网络使用同一个网络来实现,对于两个输入,每一步推理使用相同的权重forward两次,然后计算损失函数更新权重,这里并没有定义两个网络。为了简化训练,自定义了比较小的网络

class SiameseNetwork(nn.Module): """Custom Siamese Network """ def __init__(self): super(SiameseNetwork, self).__init__() self.cnn = nn.Sequential( nn.Conv2d(1, 128, kernel_size=5, stride=3, padding=2), # 10 nn.ReLU(inplace=True), nn.LocalResponseNorm(5, alpha=0.001, beta=.75, k=2), # TODO nn.MaxPool2d(4, stride=2), # 4 nn.Dropout2d(p=.5), ) # 12544 self.fc = nn.Sequential( nn.Linear(2048, 512), nn.ReLU(inplace=True), nn.Dropout2d(p=0.5), nn.Linear(512, 128), nn.ReLU(inplace=True), nn.Linear(128, 2) ) def forward_once(self, x): y = self.cnn(x) y = y.view(y.size()[0], -1) y = self.fc(y) return y def forward(self, x1, x2): y1 = self.forward_once(x1) y2 = self.forward_once(x2) return y1, y23.2 损失函数

损失函数使用的是前述的Contrastive Loss,其定义为:

class ContrastiveLoss(torch.nn.Module): def __init__(self, margin): super(ContrastiveLoss, self).__init__() self.margin = margin def forward(self, x1, x2, y): dist = F.pairwise_distance(x1, x2) total_loss = (1-y) * torch.pow(dist, 2) + \ y * torch.pow(torch.clamp_min_(self.margin - dist, 0), 2) loss = torch.mean(total_loss) return loss3.3 数据

这里使用的是基于MNIST数据集随机选取的1000张图像然后生成了8000对作为输入来训练的,测试时输入两张手写字图片输出其相似度。

3.4 训练结果

训练了20个epoch,损失函数值的变化趋势如下图:

由于使用的batch_size较小,迭代的次数较少,可以看到损失函数没有很好的收敛。且打开训练数据看了下自己生成的train.csv中的图像对,绝大部分label都是0,存在严重的数据不平衡问题,需要改进。在测试数据上的输出,对于有些输入可以比较好的衡量其相似度。

Predicted Distance: 0.0020178589038550854Actual Label: Different SignaturePredicted Distance: 0.0002805054828058928Actual Label: Same SignaturePredicted Distance: 0.003011130029335618Actual Label: Different SignaturePredicted Distance: 0.0018709745490923524Actual Label: Different Signature

完整代码见gitee仓库

4.SiameseNetWork的一些应用

1.签名验证Signature Verification using a “Siamese” Time Delay Neural Network

2.三胞胎网络Deep metric learning using Triplet network

3.One-ShotLearning, Siamese Neural Networks for One-shot Image Recognition

4.人脸验证Learning a Similarity Metric Discriminatively, with Application to Face Verification

参考资料1.Siamese network 孪生神经网络–一个简单神奇的结构2.FaceNet3.Contrastive Loss4.A friendly introduction to Siamese Networks

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

本文链接地址:https://www.jiuchutong.com/zhishi/298737.html 转载请保留说明!

上一篇:ChatGPT 被大面积封号,到底发生什么了?

下一篇:Ubuntu22.04 下安装驱动、CUDA、cudnn以及TensorRT(ubuntu20.04.1安装)

  • 微信游戏实名认证怎么更改(微信游戏实名认证未成年怎么改)

    微信游戏实名认证怎么更改(微信游戏实名认证未成年怎么改)

  • 支付宝数字藏品如何交易(支付宝数字藏品在哪看)

    支付宝数字藏品如何交易(支付宝数字藏品在哪看)

  • 抖音开直播要求的粉丝数量是多少(抖音开直播要求是什么)

    抖音开直播要求的粉丝数量是多少(抖音开直播要求是什么)

  • 怎么关闭抖音和火山同步(怎么关闭抖音和头条同步)

    怎么关闭抖音和火山同步(怎么关闭抖音和头条同步)

  • 苹果11多大屏幕尺寸(苹果11多大屏幕?)

    苹果11多大屏幕尺寸(苹果11多大屏幕?)

  • 华为如何恢复出厂设置(华为恢复出厂设置)

    华为如何恢复出厂设置(华为恢复出厂设置)

  • 一个支付宝可以扫几个共享单车(一个支付宝可以登录几个账号)

    一个支付宝可以扫几个共享单车(一个支付宝可以登录几个账号)

  • chrome浏览器安装失败(chrome浏览器安装路径怎么配置)

    chrome浏览器安装失败(chrome浏览器安装路径怎么配置)

  • 黑鲨3pro屏幕是三星的吗(黑鲨3pro屏幕是曲面的吗)

    黑鲨3pro屏幕是三星的吗(黑鲨3pro屏幕是曲面的吗)

  • 华为情景智能怎么关闭(华为情景智能怎么显示步数)

    华为情景智能怎么关闭(华为情景智能怎么显示步数)

  • 怎样改善电脑fps低(怎样改善电脑网络)

    怎样改善电脑fps低(怎样改善电脑网络)

  • 密码不能包含空格是什么意思(什么叫密码不能包含空格)

    密码不能包含空格是什么意思(什么叫密码不能包含空格)

  • 爱奇艺tv版和爱奇艺vip通用吗(爱奇艺tv版和爱奇艺会员通用吗)

    爱奇艺tv版和爱奇艺vip通用吗(爱奇艺tv版和爱奇艺会员通用吗)

  • 大王卡芒果tv免流量吗(大王卡怎么领取芒果会员)

    大王卡芒果tv免流量吗(大王卡怎么领取芒果会员)

  • 60锂电池不能以旧换新吗(锂电池60伏能跑多远)

    60锂电池不能以旧换新吗(锂电池60伏能跑多远)

  • 火山如何自己原创音乐(火山怎么设置地理位置)

    火山如何自己原创音乐(火山怎么设置地理位置)

  • 超链接字体颜色怎么改(超链接字体颜色、下横线怎么改)

    超链接字体颜色怎么改(超链接字体颜色、下横线怎么改)

  • 荣耀v30支持双人脸解锁吗(荣耀v30双屏怎么开启)

    荣耀v30支持双人脸解锁吗(荣耀v30双屏怎么开启)

  • win10怎么整理磁盘(w10怎么磁盘整理)

    win10怎么整理磁盘(w10怎么磁盘整理)

  • 24-105镜头适合拍什么(24-105镜头适合拍建筑室内吗)

    24-105镜头适合拍什么(24-105镜头适合拍建筑室内吗)

  • 多多农场怎样防偷金币(多多农场坑人)

    多多农场怎样防偷金币(多多农场坑人)

  • 苹果id姓名必须真实吗(苹果id姓名必须和银行卡一致吗)

    苹果id姓名必须真实吗(苹果id姓名必须和银行卡一致吗)

  • 照片怎么去掉手机型号(照片怎么去掉手写的)

    照片怎么去掉手机型号(照片怎么去掉手写的)

  • QQ邮箱怎么查看垃圾箱文件(qq邮箱怎么查看已发送邮件)

    QQ邮箱怎么查看垃圾箱文件(qq邮箱怎么查看已发送邮件)

  • dedecms织梦列表文章审核更新到当前时间(织梦怎么添加相关)

    dedecms织梦列表文章审核更新到当前时间(织梦怎么添加相关)

  • 个人所得税跨区域可以申报吗
  • 企业纳税人是什么
  • 已在境外缴纳的企业所得税税额 分国不分项
  • 从公司提款需要交税?
  • 免征增值税的个体户个税
  • 公司为员工报销的医药费
  • 专票打印偏下可以用吗
  • 外地工程款没有预缴会怎么样
  • 代开运输发票会不会造成重复征税
  • 甲供材料税金如何结算
  • 担保人的损失
  • 预提佣金会计分录是什么
  • 施工企业预算怎么编制
  • 递延所得税如何申报
  • 制造企业售后服务方案
  • 建筑工程劳务承包
  • 海关进口需要什么手续
  • 自来水企业应该交什么税
  • 租赁的厂房改造可以费用化吗
  • 免征的税额当月计入营业外收入吗
  • 小规模纳税人一个月能开多少税票
  • 增发股票会计科目
  • 先发货后开票的销售业务流程
  • 多交的增值税可以做营业外支出吗?
  • 新手最适合用哪一款
  • 图片注入php
  • 防止盗链的php代码
  • 上飞机可以带2个充电宝吗
  • vue three.js
  • php去除指定字符
  • 非盈利组织盈利怎么办
  • 尚融资本
  • stm32f103教程
  • 购买图书可以开增值税专票么?
  • sql server数字类型
  • 白条怎么收拾
  • 清算时实收资本需要做收入吗为什么
  • 公司吸收合并是利好吗
  • 工商年报纳税总额从哪看
  • 购入研发设备可以全额抵扣吗
  • 汇算清缴步骤及处理方法
  • 一定要正颌吗
  • 主营业务收入减少记哪方
  • 营改增后混凝土税率
  • 库存商品账本填写样本
  • mysql性能分析语句
  • sql server2019还原数据库
  • sql中分页
  • 如何恢复数据库删除的文件
  • 如何系统还原xp
  • windowsxp文件
  • winxp系统桌面图片
  • macos怎么使用
  • mac如何隐藏桌面
  • 深入解析linux内核
  • solaris 11.4
  • win7系统加内存条怎么设置
  • [图文教程]Win10家庭版怎么快速升级到win10专业版?
  • win8.1系统怎么激活
  • win8能装pr2017吗
  • win 10预览版
  • cocos点击事件
  • python模拟reversed功能
  • JavaScript数组添加元素
  • nodejs模拟点击
  • 简述jquery的实现原理
  • JUnit in android
  • bat脚本如何运行
  • javascriptj
  • android 动效
  • python 遍历字符串修改
  • ubuntu nodejs
  • jquery的问题
  • node.js windows
  • 手机sd卡满了怎么办
  • JavaScript、tab切换完整版(自动切换、鼠标移入停止、移开运行)
  • 国税局征管科
  • 亚马逊利用大数据练就读心术
  • 落实措施对吗
  • 工程增值税率从11%调整到9%
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设