位置: IT常识 - 正文

Opencv实战——图像拼接(opencv官方教程)

编辑:rootadmin
Opencv实战——图像拼接 文章目录前言实现方法实现代码直接拼接加权处理总结前言

推荐整理分享Opencv实战——图像拼接(opencv官方教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:opencv详解,opencv图像处理入门,opencv实战项目教程,opencv图像处理入门,opencv教程,opencv tutorials,opencv tutorial,opencv tutorial,内容如对您有帮助,希望把文章链接给更多的朋友!

  图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术,它将多幅图像拼接成一幅大尺度图像或360度全景图,接可以看做是场景重建的一种特殊情况,其中图像仅通过平面单应性进行关联。图像拼接在运动检测和跟踪,增强现实,分辨率增强,视频压缩和图像稳定等机器视觉领域有很大的应用。   图像拼接的输出是两个输入图像的并集。通常用到四个步骤: 特征提取(Feature Extraction):检测输入图像中的特征点。

图像配准(Image Registration):建立了图像之间的几何对应关系,使它们可以在一个共同的参照系中进行变换、比较和分析。

图像变形(Warping):图像变形是指将其中一幅图像的图像重投影,并将图像放置在更大的画布上。

图像融合(Blending):图像融合是通过改变边界附近的图像灰度级,去除这些缝隙,创建混合图像,从而在图像之间实现平滑过渡。混合模式(Blend modes)用于将两层融合到一起。

实现方法

1、用SIFT提取图像中的特征点,并对每个关键点周围的区域计算特征向量。可以使用比SIFT快的SURF方法,但是我的opencv版本为最新版,不知道是专利的原因还是什么原因用SURF = cv2.xfeatures2D.SURF_create ()实例化的时候会报错,网上说可以退opencv版本,但是我这里没有尝试,就用了sift = cv2.SIFT_create()。 2、在分别提取好了两张图片的关键点和特征向量以后,可以利用它们进行两张图片的匹配。在拼接图片中,可以使用Knn进行匹配,但是使用FLANN快速匹配库更快,图片拼接,需要用到FLANN的单应性匹配。 3、单应性匹配完之后可以获得透视变换H矩阵,用这个的逆矩阵来对第二幅图片进行透视变换,将其转到和第一张图一样的视角,为下一步拼接做准备。 4、透视变化完后就可以直接拼接图片了,将图片通过numpy直接加到透视变化完成的图像的左边,覆盖掉重合的部分,得到拼接图片,但是这样拼接得图片中间会有一条很明显的缝隙,可以通过加权平均法,界线的两侧各取一定的比例来融合缝隙,速度快,但不自然。或者羽化法,或者拉普拉斯金字塔融合,效果最好。在这里用的是加权平均法,可以把第一张图叠在左边,但是对第一张图和它的重叠区做一些加权处理,重叠部分,离左边图近的,左边图的权重就高一些,离右边近的,右边旋转图的权重就高一些,然后两者相加,使得过渡是平滑地,这样看上去效果好一些,速度就比较慢。

实现代码Opencv实战——图像拼接(opencv官方教程)

先给出原图

直接拼接#导入库import cv2import numpy as npimport sysfrom PIL import Image#图像显示函数def show(name,img): cv2.imshow(name, img) cv2.waitKey(0) cv2.destroyAllWindows()#读取输入图片ima = cv2.imread("you.jpg")imb = cv2.imread("zuo.jpg")A = ima.copy()B = imb.copy()imageA = cv2.resize(A,(0,0),fx=0.2,fy=0.2)imageB = cv2.resize(B,(0,0),fx=0.2,fy=0.2)#检测A、B图片的SIFT关键特征点,并计算特征描述子def detectAndDescribe(image): # 建立SIFT生成器 sift = cv2.SIFT_create() # 检测SIFT特征点,并计算描述子 (kps, features) = sift.detectAndCompute(image, None) # 将结果转换成NumPy数组 kps = np.float32([kp.pt for kp in kps]) # 返回特征点集,及对应的描述特征 return (kps, features)#检测A、B图片的SIFT关键特征点,并计算特征描述子kpsA, featuresA = detectAndDescribe(imageA)kpsB, featuresB = detectAndDescribe(imageB)# 建立暴力匹配器bf = cv2.BFMatcher()# 使用KNN检测来自A、B图的SIFT特征匹配对,K=2matches = bf.knnMatch(featuresA, featuresB, 2)good = []for m in matches: # 当最近距离跟次近距离的比值小于ratio值时,保留此匹配对 if len(m) == 2 and m[0].distance < m[1].distance * 0.75: # 存储两个点在featuresA, featuresB中的索引值 good.append((m[0].trainIdx, m[0].queryIdx))# 当筛选后的匹配对大于4时,计算视角变换矩阵if len(good) > 4: # 获取匹配对的点坐标 ptsA = np.float32([kpsA[i] for (_, i) in good]) ptsB = np.float32([kpsB[i] for (i, _) in good]) # 计算视角变换矩阵 H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC,4.0)# 匹配两张图片的所有特征点,返回匹配结果M = (matches, H, status)# 如果返回结果为空,没有匹配成功的特征点,退出程序if M is None: print("无匹配结果") sys.exit()# 否则,提取匹配结果# H是3x3视角变换矩阵(matches, H, status) = M# 将图片A进行视角变换,result是变换后图片result = cv2.warpPerspective(imageA, H, (imageA.shape[1] + imageB.shape[1], imageA.shape[0]))# 将图片B传入result图片最左端result[0:imageB.shape[0], 0:imageB.shape[1]] = imageBshow('res',result)print(result.shape)

效果:   可以发现直接拼接虽然可以拼接但是在拼接的地方会有一条很明显的缝隙,不过直接拼接的速度比较快只用了2点多秒。

加权处理

  我们通常使用alpha因子,通常称为alpha通道,它在中心像素处的值为1,在与边界像素线性递减后变为0。当输出拼接图像中至少有两幅重叠图像时,我们将使用如下的alpha值来计算其中一个像素处的颜色:假设两个图像,在输出图像中重叠;每个像素点在图像,其中(R,G,B)是像素的颜色值,我们将在缝合后的输出图像中计算(x, y)的像素值: 代码如下:

import cv2import numpy as npfrom matplotlib import pyplot as pltimport timedef show(name,img): cv2.imshow(name, img) cv2.waitKey(0) cv2.destroyAllWindows()MIN = 10FLANN_INDEX_KDTREE = 0starttime = time.time()img1 = cv2.imread('zuo.jpg') #queryimg2 = cv2.imread('you.jpg') #trainimageA = cv2.resize(img1,(0,0),fx=0.2,fy=0.2)imageB = cv2.resize(img2,(0,0),fx=0.2,fy=0.2)surf=cv2.xfeatures2d.SIFT_create()#可以改为SIFT#sift = cv2.SIFT_create()kp1,descrip1 = sift.detectAndCompute(imageA,None)kp2,descrip2 = sift.detectAndCompute(imageB,None)#创建字典indexParams = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)searchParams = dict(checks=50)flann=cv2.FlannBasedMatcher(indexParams,searchParams)match=flann.knnMatch(descrip1,descrip2,k=2)good=[]#过滤特征点for i,(m,n) in enumerate(match): if(m.distance<0.75*n.distance): good.append(m)# 当筛选后的匹配对大于10时,计算视角变换矩阵if len(good) > MIN: src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2) ano_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2) M,mask = cv2.findHomography(src_pts,ano_pts,cv2.RANSAC,5.0) warpImg = cv2.warpPerspective(imageB, np.linalg.inv(M), (imageA.shape[1]+imageB.shape[1], imageB.shape[0])) direct=warpImg.copy() direct[0:imageA.shape[0], 0:imageB.shape[1]] =imageA simple=time.time()show('res',warpImg)rows,cols=imageA.shape[:2]print(rows)print(cols)for col in range(0,cols): # 开始重叠的最左端 if imageA[:, col].any() and warpImg[:, col].any(): left = col print(left) breakfor col in range(cols-1, 0, -1): #重叠的最右一列 if imageA[:, col].any() and warpImg[:, col].any(): right = col print(right) break#加权处理res = np.zeros([rows, cols, 3], np.uint8)for row in range(0, rows): for col in range(0, cols): if not imageA[row, col].any(): # 如果没有原图,用旋转的填充 res[row, col] = warpImg[row, col] elif not warpImg[row, col].any(): res[row, col] = imageA[row, col] else: srcImgLen = float(abs(col - left)) testImgLen = float(abs(col - right)) alpha = srcImgLen / (srcImgLen + testImgLen) res[row, col] = np.clip(imageA[row, col] * (1 - alpha) + warpImg[row, col] * alpha, 0, 255)warpImg[0:imageA.shape[0], 0:imageA.shape[1]]=resshow('res',warpImg)final=time.time()print(final-starttime)

效果:   可以发现经过加权处理融合后的图片要比直接拼接效果要好,但是时间用了差不多16秒,而且还是有一条黑缝,目前还没有找到解决的办法,有好方法的友友们可以在评论区留意哟。

总结

  除了加权处理的方法外,还可以尝试用羽化和拉普拉斯金字塔等方法来实现图像拼接,这里给出实现的原理,方便以后尝试。 羽化(原文连接):  加载原始图像并找到轮廓。

 模糊原始图像并将其保存在不同的变量中。

 创建一个空的蒙版并在其上绘制检测到的轮廓。

 使用 np.where() 方法从要模糊值的蒙版(轮廓)中选择像素,然后替换它。

拉普拉斯金字塔(原文连接);

本文链接地址:https://www.jiuchutong.com/zhishi/300365.html 转载请保留说明!

上一篇:这几个SQL语法的坑,你踩过吗(这几个sql语法的区别)

下一篇:《花雕学AI》06:抢先体验ChatGPT的九个国内镜像站之试用与综合评测(花雕典故)

  • 荣耀60处理器是什么型号(荣耀60处理器是多大的)

    荣耀60处理器是什么型号(荣耀60处理器是多大的)

  • 微信删除好友让对方没有我的办法是什么(微信删除好友让对方看不见)

    微信删除好友让对方没有我的办法是什么(微信删除好友让对方看不见)

  • 蓝牙耳机说话声音小(蓝牙耳机说话声音小对方听不见)

    蓝牙耳机说话声音小(蓝牙耳机说话声音小对方听不见)

  • 苹果x人脸识偏高偏低(苹果x人脸识别经常失灵)

    苹果x人脸识偏高偏低(苹果x人脸识别经常失灵)

  • 7p指纹突然用不了了(7p指纹突然不能用了)

    7p指纹突然用不了了(7p指纹突然不能用了)

  • oppo手机怎么转移到另一台手机(oppo手机怎么转移数据到苹果)

    oppo手机怎么转移到另一台手机(oppo手机怎么转移数据到苹果)

  • 手机卡仅限紧急呼叫怎么回事(手机卡仅限紧急呼叫是被注销了吗)

    手机卡仅限紧急呼叫怎么回事(手机卡仅限紧急呼叫是被注销了吗)

  • 苹果手机qq音乐无法连接网络(苹果手机qq音乐下载的文件在哪)

    苹果手机qq音乐无法连接网络(苹果手机qq音乐下载的文件在哪)

  • 小天才y05所有隐藏功能(小天才y05有什么隐形功能)

    小天才y05所有隐藏功能(小天才y05有什么隐形功能)

  • 手机没有信号打不了电话是为什么(手机没有信号打不通电话怎么办)

    手机没有信号打不了电话是为什么(手机没有信号打不通电话怎么办)

  • 手机淘宝投诉结果在哪里可以看(手机淘宝投诉结果查询)

    手机淘宝投诉结果在哪里可以看(手机淘宝投诉结果查询)

  • 小米10和红米k30pro有什么区别(小米10和红米k30pro拍照对比)

    小米10和红米k30pro有什么区别(小米10和红米k30pro拍照对比)

  • 运行器的功能是(运行器的功能是什么)

    运行器的功能是(运行器的功能是什么)

  • 苹果官网预计送达时间准吗(苹果官网预计送达时间没送到)

    苹果官网预计送达时间准吗(苹果官网预计送达时间没送到)

  • 苹果11pro max上市时间(苹果11pro最初上市价格)

    苹果11pro max上市时间(苹果11pro最初上市价格)

  • 如何检测针孔摄像头(如何检查针孔摄像)

    如何检测针孔摄像头(如何检查针孔摄像)

  • 苹果x之后还有新款吗(苹果x之后还有什么型号?)

    苹果x之后还有新款吗(苹果x之后还有什么型号?)

  • 手机视频怎么上传到qq(手机视频怎么上传到全民k歌)

    手机视频怎么上传到qq(手机视频怎么上传到全民k歌)

  • p30屏幕指纹解锁(刚买的华为p30,指纹解锁失灵了,怎么回事?)

    p30屏幕指纹解锁(刚买的华为p30,指纹解锁失灵了,怎么回事?)

  • 华为智能眼镜功能

    华为智能眼镜功能

  • QQ邮箱为什么打不开(QQ邮箱为什么打不开steam发的网址)

    QQ邮箱为什么打不开(QQ邮箱为什么打不开steam发的网址)

  • web前端综合案例——小兔鲜首页(html+css)(web前端综合案例开发离线作业1)

    web前端综合案例——小兔鲜首页(html+css)(web前端综合案例开发离线作业1)

  • mysql覆盖索引如何理解(sql 覆盖索引)

    mysql覆盖索引如何理解(sql 覆盖索引)

  • 下半年房产税缴纳时间
  • 小规模纳税人代扣代缴个人所得税
  • 提前买礼物
  • 用库存现金支付职工医药费用69元会计人员编制的
  • 办公室水电费计算公式
  • 联营企业子公司抵消比例
  • 资产负债表上应付账款根据什么填制
  • 先开发票后发货
  • 建筑工地加油计入什么科目
  • 股东购买固定资产能算实收资本么
  • 所有增值税发票都有抵扣联吗
  • 公允价值变动损益属于什么科目
  • 以房屋抵顶的工程叫什么
  • 公允价值确定方法最新
  • 共同控制合营企业的合营者
  • 公司按最低标准缴纳社保
  • 税控系统维护费账务处理
  • 企业对固定资产进行计量时应选择的计量属性是
  • 售后回租是否确认收入
  • 工厂产品的人工怎么算
  • 支付证明单打印版
  • 国际贷款平台
  • 没有进项的产品开了发票怎么办
  • 转账支票怎么进账到个人账户
  • 应交税金增值税明细账怎么登记
  • 手工帐财务费用怎么结转
  • 汽车保险费里的钱能退吗
  • 网络适配器感叹号代码43
  • 苹果电脑mac设备在哪里
  • 增值税一般纳税人申报流程
  • 付款交单和承兑交单对卖方来说都有一定风险
  • 卖废旧物品账务处理
  • win10记事本在哪找
  • linux中常用的文件类型有哪些如何区分
  • mac怎么切换输入方式
  • 电脑硬盘数据恢复一般需要收费多少钱
  • phpcms怎么用
  • pa等比例缩放
  • vue框架基础知识
  • yolov5怎么改进
  • php代码生成
  • 物流公司账务处理特点
  • 研发费用资本化条件有哪些
  • 公对公退款必须退至原账户的规定
  • 应付利息的会计分录怎么写
  • 福利费需要通过应付职工薪酬吗
  • 公司名义看望病人慰问金用什么包
  • 长期待摊的分录
  • 工程项目前期费用包括哪些
  • 企业所得税税负率多少合适
  • sql server怎么复制表
  • sql实用教程
  • 如何解决windows10数据放到国外进行处理
  • ubuntu怎么切换桌面
  • mac怎么共享wifi密码给iphone
  • wibdows任务管理器
  • windows怎么安装apk
  • 32位/64位Win10系统开机后桌面图标自动排列的解决办法
  • xp系统禁止程序联网
  • smss.exe是干嘛的
  • route.exe - route是什么进程 有什么用
  • win8显示隐藏文件夹
  • win10系统开机桌面图标不见了
  • 如何将电脑的win7系统变为win10
  • 惠普笔记本的BIOS键
  • window10系统连接wifi
  • 网页设计css文字居中
  • Unity3d AssetDatabase.SetLabels StartAssetEditing ValidateMoveAsset 语法复习
  • python根据ip获取主机名
  • linux启动过程流程图
  • 网站检测系统
  • 刨根问底造句
  • jquery给td设置内容
  • python作用域和命名空间
  • 如何用javascript
  • android获取sha1
  • 房地产预缴土增值税
  • 国家税务总局深圳税局
  • 2.4车船使用税
  • 杭州 国税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设