位置: IT常识 - 正文

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

编辑:rootadmin
(四)孪生神经网络介绍及pytorch实现

推荐整理分享(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:孪生神经网络 pytorch,孪生物什么意思,孪生物什么意思,孪生神经网络图像分类,孪生神经网络 pytorch,孪生神经网络图像分类,孪生神经网络模型,孪生神经网络应用,内容如对您有帮助,希望把文章链接给更多的朋友!

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

孪生神经网络介绍及pytorch实现1.孪生神经网络2.孪生神经网络的损失函数2.1 Triplet Loss2.2 Contrastive Loss3.动手实现一个孪生网络3.1 网络结构3.2 损失函数3.3 数据3.4 训练结果4.SiameseNetWork的一些应用参考资料1.孪生神经网络

在深度学习领域,神经网络取得了成功。但普通的神经网络模型的训练需要大量的数据,对于一些数据有限的场景,如人脸验证,签字验证,必须考虑其他方法。

Siamese 古语表示瞿罗,即现在的泰国,如Siamese cat,之所以Siamese表示孪生,是因为19世纪瞿罗出了一对连体双胞胎,在美国玲玲马戏团做演出比较出名,因此提起Siamese即表示孪生的意思。1

孪生神经网络Siamese Network,如其名字孪生Siamese的意思即存在连体,连体即彼此共享一部分。孪生神经网络的结构也包括两个子网络,两个子网络之间共享权重。

> 图片来自于1

如上图,两个网络是同一个并共享权重,当两个子网络不共享权重时,通常定义为伪孪生神经网络。

图片来自于1

从上面的图中可以看出来,孪生神经网络有两个输入,input1和input2,因此孪生神经网络常用来通过比较两个输入特征向量的距离来衡量两个输入的相似度。早在1993年的NIPS上Yann Lecun就发表了使用孪生神经网络做签名验证的论文。现在的人脸识别应用也有基于孪生神经来做的。

孪生神经网络的优点,对于类别不平衡问题更鲁棒,更易于做集成学习(Ensemble Learning),可以从语义相似性上学习来估测两个输入的距离。孪生神经网络的缺点,由于有两个输入,两个子网,其训练相对于常规网络运算量更大,需要的时间更长。输出的结果不是概率,孪生神经网络时成对的输入,其输出是两个类间的距离而不是概率。

2.孪生神经网络的损失函数

由与孪生神经网络是计算的两个输入的相似度,距离,而不是对输入做分类,因此交叉商损失函数不适用于此种场景,孪生神经网络的常用的损失函数有Triplet Loss和Contrastive Loss。

2.1 Triplet Loss

Triplet Loss三元组损失函数,其应用见谷歌2015年发表在CVPR上的做人脸验证的论文facenet。该损失函数定义一个三元组作为输入,分别是(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​)这三个输入的通过如下方式构成,先从训练数据集中随机选一个样本作为Anchor,再随机选取一个和Anchor属于同一类的样本作为正样本XpositiveX_{positive}Xpositive​,和一个不同类的样本作为负样本XnegativeX_{negative}Xnegative​,通过这种方式定义一个输入的三元组(Xanchor,Xpositive,Xnegative)(X_{anchor},X_{positive},X_{negative})(Xanchor​,Xpositive​,Xnegative​),将其输入到网络可以得到对应的特征向量[f(Xanchor),f(Xpositive),f(Xnegative)][f(X_{anchor}),f(X_{positive}),f(X_{negative})][f(Xanchor​),f(Xpositive​),f(Xnegative​)],Triplet Loss的目的是通过训练,使得同种类别的距离更近,不通类别的距离更大,即拉近anchor与positive推远anchor和negative,如下图:

图片来自FaceNet论文

通过这种相似度比较式的学习,模型不仅与同类别更像,还学会了与不同类别增大区分度的信息。通常定义一个α\alphaα,使得Anchor距离Negative的距离比距离Positive大α\alphaα,公式化表示为:

(四)孪生神经网络介绍及pytorch实现(孪生神经网络 计算相似度)

∣∣f(Xanchor)−f(Xnegative)∣∣−∣∣f(Xanchor)−f(Xpositive)∣∣>α||f(X_{anchor}) - f(X_{negative})|| - ||f(X_{anchor}) - f(X_{positive})|| \gt \alpha∣∣f(Xanchor​)−f(Xnegative​)∣∣−∣∣f(Xanchor​)−f(Xpositive​)∣∣>α

定义为:

L(Xanchor,Xpositive,Xnegative)=max(∣∣f(Xanchor)−f(Xpositive)∣∣−∣∣f(Xanchor)−f(Xnegative)∣∣+α,)L(X_{anchor}, X_{positive}, X_{negative}) = max(||f(X_{anchor}) - f(X_{positive})|| - ||f(X_{anchor}) - f(X_{negative})|| + \alpha, 0)L(Xanchor​,Xpositive​,Xnegative​)=max(∣∣f(Xanchor​)−f(Xpositive​)∣∣−∣∣f(Xanchor​)−f(Xnegative​)∣∣+α,0)

2.2 Contrastive Loss

衡量相似度的另一常用函数是Yann Lecun在2005年的一篇论文Dimensionality Reduction by Learning an Invariant Mapping中使用的Contrastive Loss。

Contrastive Loss的输入是一对样本,基于相似的一对对象特征距离应该更小,不相似的一对对象特征距离应该较大来计算。从数据中选一对样本(Xa,Xb)(X_a, X_b)(Xa​,Xb​),这两个样本的欧式距离表示为d=∣∣Xa−Xb∣∣2=(Xa−Xb)2d=||X_a-X_b||_2=\sqrt{({X_a-X_b})^2}d=∣∣Xa​−Xb​∣∣2​=(Xa​−Xb​)2​,则Contrastive Loss可表示为: L(Xa,Xb)=(1−Y)12d2+Y12{max(,m−d)}2L(X_a,X_b) = (1-Y)\frac{1}{2}d^2 + Y\frac{1}{2}\{max(0, m-d)\}^2L(Xa​,Xb​)=(1−Y)21​d2+Y21​{max(0,m−d)}2

Y表示(Xa,Xb)(X_a,X_b)(Xa​,Xb​)是否匹配,匹配为1不匹配为0

m是设置的安全距离,当(Xa,Xb)(X_a, X_b)(Xa​,Xb​)的距离小于mmm时,Contrasive Loss将变成0,这使得XaX_aXa​与XbX_bXb​相似而不是相同,能保证算法的泛化能力

3.动手实现一个孪生网络3.1 网络结构

这里使用Contrasive Loss定义一个孪生神经网络,网络结构如图:

这里上下两个网络使用同一个网络来实现,对于两个输入,每一步推理使用相同的权重forward两次,然后计算损失函数更新权重,这里并没有定义两个网络。为了简化训练,自定义了比较小的网络

class SiameseNetwork(nn.Module): """Custom Siamese Network """ def __init__(self): super(SiameseNetwork, self).__init__() self.cnn = nn.Sequential( nn.Conv2d(1, 128, kernel_size=5, stride=3, padding=2), # 10 nn.ReLU(inplace=True), nn.LocalResponseNorm(5, alpha=0.001, beta=.75, k=2), # TODO nn.MaxPool2d(4, stride=2), # 4 nn.Dropout2d(p=.5), ) # 12544 self.fc = nn.Sequential( nn.Linear(2048, 512), nn.ReLU(inplace=True), nn.Dropout2d(p=0.5), nn.Linear(512, 128), nn.ReLU(inplace=True), nn.Linear(128, 2) ) def forward_once(self, x): y = self.cnn(x) y = y.view(y.size()[0], -1) y = self.fc(y) return y def forward(self, x1, x2): y1 = self.forward_once(x1) y2 = self.forward_once(x2) return y1, y23.2 损失函数

损失函数使用的是前述的Contrastive Loss,其定义为:

class ContrastiveLoss(torch.nn.Module): def __init__(self, margin): super(ContrastiveLoss, self).__init__() self.margin = margin def forward(self, x1, x2, y): dist = F.pairwise_distance(x1, x2) total_loss = (1-y) * torch.pow(dist, 2) + \ y * torch.pow(torch.clamp_min_(self.margin - dist, 0), 2) loss = torch.mean(total_loss) return loss3.3 数据

这里使用的是基于MNIST数据集随机选取的1000张图像然后生成了8000对作为输入来训练的,测试时输入两张手写字图片输出其相似度。

3.4 训练结果

训练了20个epoch,损失函数值的变化趋势如下图:

由于使用的batch_size较小,迭代的次数较少,可以看到损失函数没有很好的收敛。且打开训练数据看了下自己生成的train.csv中的图像对,绝大部分label都是0,存在严重的数据不平衡问题,需要改进。在测试数据上的输出,对于有些输入可以比较好的衡量其相似度。

Predicted Distance: 0.0020178589038550854Actual Label: Different SignaturePredicted Distance: 0.0002805054828058928Actual Label: Same SignaturePredicted Distance: 0.003011130029335618Actual Label: Different SignaturePredicted Distance: 0.0018709745490923524Actual Label: Different Signature

完整代码见gitee仓库

4.SiameseNetWork的一些应用

1.签名验证Signature Verification using a “Siamese” Time Delay Neural Network

2.三胞胎网络Deep metric learning using Triplet network

3.One-ShotLearning, Siamese Neural Networks for One-shot Image Recognition

4.人脸验证Learning a Similarity Metric Discriminatively, with Application to Face Verification

参考资料1.Siamese network 孪生神经网络–一个简单神奇的结构2.FaceNet3.Contrastive Loss4.A friendly introduction to Siamese Networks

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

本文链接地址:https://www.jiuchutong.com/zhishi/298737.html 转载请保留说明!

上一篇:ChatGPT 被大面积封号,到底发生什么了?

下一篇:Ubuntu22.04 下安装驱动、CUDA、cudnn以及TensorRT(ubuntu20.04.1安装)

  • oppok9s是5g手机吗(oppok9是5g网络手机吗)

    oppok9s是5g手机吗(oppok9是5g网络手机吗)

  • OPPO手机两张截图如何并列放在一起(oppo手机两张截屏如何合并)

    OPPO手机两张截图如何并列放在一起(oppo手机两张截屏如何合并)

  • 重装系统所有的东西都会被删除吗(系统里重装系统)

    重装系统所有的东西都会被删除吗(系统里重装系统)

  • 苹果11pro max屏幕黄怎么调

    苹果11pro max屏幕黄怎么调

  • 充电宝长期不用怎么保存(充电宝长期不用为什么会鼓包)

    充电宝长期不用怎么保存(充电宝长期不用为什么会鼓包)

  • qq群主怎么改群成员昵称(QQ群主怎么改群名)

    qq群主怎么改群成员昵称(QQ群主怎么改群名)

  • 快手挣流量是什么意思(快手流量挣钱)

    快手挣流量是什么意思(快手流量挣钱)

  • flash模式是什么意思(flash mode)

    flash模式是什么意思(flash mode)

  • 怎么看iwatch是第几代(怎么看自己iwatch第几代)

    怎么看iwatch是第几代(怎么看自己iwatch第几代)

  • 手机wifi自动关闭是怎么回事(手机WIFI自动关闭打不开)

    手机wifi自动关闭是怎么回事(手机WIFI自动关闭打不开)

  • 网卡可以直接上网吗(网卡可以插台式电脑吗)

    网卡可以直接上网吗(网卡可以插台式电脑吗)

  • 5g手机流量消耗大吗(5g手机流量消耗太快怎么设置)

    5g手机流量消耗大吗(5g手机流量消耗太快怎么设置)

  • 描边快捷键(cad填充描边快捷键)

    描边快捷键(cad填充描边快捷键)

  • 苹果手机听筒进水了声音小怎么办(苹果手机听筒进了一点水有影响吗)

    苹果手机听筒进水了声音小怎么办(苹果手机听筒进了一点水有影响吗)

  • v1962a是什么型号(v1916a)

    v1962a是什么型号(v1916a)

  • 华为手机密码忘了怎么解开(华为手机密码忘了怎么解锁)

    华为手机密码忘了怎么解开(华为手机密码忘了怎么解锁)

  • 三星s10怎么设置超广角拍照(三星s10怎么设置sd卡)

    三星s10怎么设置超广角拍照(三星s10怎么设置sd卡)

  • 华为移动服务怎么打开(华为移动服务怎么卸载)

    华为移动服务怎么打开(华为移动服务怎么卸载)

  • 抖音短视频忘记密码怎么弄(抖音短视频忘记挂车怎么办)

    抖音短视频忘记密码怎么弄(抖音短视频忘记挂车怎么办)

  • 手机内存不够怎么办(手机内存不够怎么删)

    手机内存不够怎么办(手机内存不够怎么删)

  • 华为手机自带日历在哪(华为手机自带日历怎么恢复)

    华为手机自带日历在哪(华为手机自带日历怎么恢复)

  • 华为p30拍照怎么调(华为P30拍照怎么显示时间和日期)

    华为p30拍照怎么调(华为P30拍照怎么显示时间和日期)

  • 微信运动能看公里数吗(微信运动能看到去过哪里吗)

    微信运动能看公里数吗(微信运动能看到去过哪里吗)

  • 美团扫一扫在哪里(美团扫一扫在哪里打开华为手机)

    美团扫一扫在哪里(美团扫一扫在哪里打开华为手机)

  • 闲聊版本怎么更新(闲聊改版了吗)

    闲聊版本怎么更新(闲聊改版了吗)

  • lexpps.exe是什么进程?电脑每次关机都会提示lexpps.exe程序错误怎么办?(xwizard.exe是什么)

    lexpps.exe是什么进程?电脑每次关机都会提示lexpps.exe程序错误怎么办?(xwizard.exe是什么)

  • 劳务派遣公司差额征税的账务处理
  • 增值税申报表如何打印
  • 税务专家田野
  • 房屋维修基金帐户怎么查
  • 六税两费减半征收政策
  • 企业所有者权益科目有哪些
  • 外地预缴的增值税要在本地计算附加税吗?
  • 发票开错但已勾选还需要认证吗
  • 实际缴纳的税款怎么算
  • 金蝶k3生产领料单怎么导入
  • 捐赠支出和赞助支出的区别
  • 怎样冲回多计提的费用
  • 资本公积在现金流量表哪里体现
  • 电商行业平台开的发票怎么入账
  • 收到股本的现金怎么做账
  • 销售中有运费收入吗
  • 少缴纳个人所得税的需要付什么责任
  • 非公司私营企业属于什么类型
  • 以旧翻新视频
  • 长期股权投资账面价值和公允价值不一致
  • 公司注销增值税在借方有余额怎么处理
  • 购入二手设备,无发票怎么记账
  • 初级备考日记
  • 公司给员工定任务合法吗
  • 服务业发票进项税怎么做凭证?
  • 存货计价方法的选择对利润表中的项目没有影响
  • 自然人个人能否纳税
  • 实收资本和资产的关系
  • 两个公司发工资违法吗
  • 医疗废物处置费是什么意思
  • 企业能公户往个人转账吗
  • 司机公里补助用不用交个税
  • mysql的字段类型有哪些
  • 个人所得税手续费比例
  • 高温补贴需要缴纳社会保险费吗
  • 扣除年度未扣除怎么计算
  • 交通费补贴算工资吗?
  • 销售返利的形式有哪些
  • 资产负债表要点
  • 员工提前预支工资借条
  • 今夕七夕
  • 总结一些php中好用的软件
  • 印花税减半征收优惠政策2020
  • 编译redis报错
  • java代理有几种方式
  • 正则表达式除去指定字母
  • php gdb
  • jquery+thinkphp实现跨域抓取数据的方法
  • 苗木可以进项抵扣的么
  • 企业职工薪酬如何确定
  • 财务报表不申报可以领票吗
  • 给员工发放礼品的祝福
  • 对于企业处理废水的建议
  • 增加固定资产原值50%以上
  • 合伙企业要不要每月做账?报税是不是与一般的有限公司一样,每月申报纳税吗?
  • mongodb查询操作
  • 技术转让费如何收取合理
  • 购入农产品的增值税税率是多少
  • 发工资用个人账户还是公司帐户
  • 会计科目其他应付款代码
  • 外经证预交税款可以以后月份抵扣吗
  • 母公司及子公司增资
  • 解除职工劳动关系补偿
  • win8无线网受限
  • 如何更改桌面文件存放位置
  • 不会安装系统怎么安装
  • win7数据保护
  • 置顶聊天折叠怎么开启
  • node+mongodb
  • unity shader lod
  • jquery给table赋值
  • 学完js不会用怎么办
  • js几种类型
  • js优化性能
  • python的for函数
  • 怎么在手机开数据那里看用了多少流量
  • 开票信息电子版怎么做
  • 税务 信息
  • 怎样在电子税务局申报社保
  • 汽车购置税与消费税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设