位置: IT常识 - 正文

OPENCV多种模板匹配使用对比(opencv模板匹配多目标旋转)

编辑:rootadmin
OPENCV多种模板匹配使用对比

推荐整理分享OPENCV多种模板匹配使用对比(opencv模板匹配多目标旋转),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:opencv模板匹配多目标旋转,opencv 模板匹配得到坐标和角度,opencvsharp模板匹配,opencv多模板匹配,opencv模板匹配算法改进,opencv模板匹配算法改进,opencv模板匹配多目标旋转,opencv模板匹配算法改进,内容如对您有帮助,希望把文章链接给更多的朋友!

前文简单提到模板匹配中的一种:NCC多角度模板匹配,博主结合实际的检测项目(已落地)发现其准确率和稳定性有待提升,特别是一些复杂背景的图形,又或是模板选取不当都会造成不理想的效果;同时也借鉴过基于梯度变化的匹配策略,但要说落实到实际项目上去总是差强人意(可能也是鄙人技术不够,哈哈);所以博主今天分享另外两种比较适用的匹配方式!

   1).  当图像中存在完整且容易提取的外形轮廓时,shapematch形状匹配不失为一种简单快捷的方法,不需要额外去按照固定角度旋转图像来搜索图像,亦不需要担心模板图像旋转后的留白区域影响匹配得分,按照固定的模式来操作即可:

使用Opencv已有方法MatchShapes进行匹配即可,不过匹配后的重心和角度 需要做进一步处理,重心计算公式:

//获取重心点Moments M = Cv2.Moments(bestcontour);double cX = (M.M10 / M.M00);double cY = (M.M01 / M.M00);

   角度计算公式:

//-90~90度//由于先验目标最小包围矩形是长方形 //因此最小包围矩形的中心和重心的向量夹角为旋转RotatedRect rect_template = Cv2.MinAreaRect(imgTemplatecontours);RotatedRect rect_search = Cv2.MinAreaRect(bestcontour);//两个旋转矩阵是否同向float sign = (rect_template.Size.Width - rect_template.Size.Height) * (rect_search.Size.Width - rect_search.Size.Height);float angle=0;if (sign > 0)// 可以直接相减 angle = rect_search.Angle - rect_template.Angle;elseangle = (90 + rect_search.Angle) - rect_template.Angle;if (angle > 90)angle -= 180;

  测试效果如下:

0度:

-30度:

50度:

如同为shapematch形状匹配方式,测试时间约40毫秒左右,当然这个也会与图像大小与轮廓大小相关,不管也可以通过构建金字塔模型来加快搜索速度。

       2).  下面来针对NCC归一化模板匹配做一下简单说明,NCC有几种不同的匹配模式,分别为:

关键的匹配方法如下:

for (int i = 0; i <= (int)range / step; i++) { newtemplate = ImageRotate(model, start + step * i, ref rotatedRect, ref mask); if (newtemplate.Width > src.Width || newtemplate.Height > src.Height) continue; Cv2.MatchTemplate(src, newtemplate, result, matchMode, mask); Cv2.MinMaxLoc(result, out double minval, out double maxval, out CVPoint minloc, out CVPoint maxloc, new Mat()); if (double.IsInfinity(maxval)) { Cv2.MatchTemplate(src, newtemplate, result, TemplateMatchModes.CCorrNormed, mask); Cv2.MinMaxLoc(result, out minval, out maxval, out minloc, out maxloc, new Mat()); } if (maxval > temp) { location = maxloc; temp = maxval; angle = start + step * i; modelrrect = rotatedRect; } }OPENCV多种模板匹配使用对比(opencv模板匹配多目标旋转)

 为了提高匹配速度,可使用金字塔下采样-》上采样来完成:

//对模板图像和待检测图像分别进行图像金字塔下采样 for (int i = 0; i < numLevels; i++) { Cv2.PyrDown(src, src, new Size(src.Cols / 2, src.Rows / 2)); Cv2.PyrDown(model, model, new Size(model.Cols / 2, model.Rows / 2)); } Rect cropRegion = new CVRect(0, 0, 0, 0); for (int j = numLevels - 1; j >= 0; j--) { //为了提升速度,直接上采样到最底层 for (int i = 0; i < numLevels; i++) { Cv2.PyrUp(src, src, new Size(src.Cols * 2, src.Rows * 2));//下一层,放大2倍 Cv2.PyrUp(model, model, new Size(model.Cols * 2, model.Rows * 2));//下一层,放大2倍 } location.X *= (int)Math.Pow(2, numLevels); location.Y *= (int)Math.Pow(2, numLevels); modelrrect = new RotatedRect(new Point2f((float)(modelrrect.Center.X * Math.Pow(2, numLevels)),//下一层,放大2倍 (float)(modelrrect.Center.Y * Math.Pow(2, numLevels))), new Size2f(modelrrect.Size.Width * Math.Pow(2, numLevels), modelrrect.Size.Height * Math.Pow(2, numLevels)), 0); CVPoint cenP = new CVPoint(location.X + modelrrect.Center.X, location.Y + modelrrect.Center.Y);//投影到下一层的匹配点位中心 int startX = cenP.X - model.Width; int startY = cenP.Y - model.Height; int endX = cenP.X + model.Width; int endY = cenP.Y + model.Height; cropRegion = new CVRect(startX, startY, endX - startX, endY - startY); cropRegion = cropRegion.Intersect(new CVRect(0, 0, src.Width, src.Height)); Mat newSrc = MatExtension.Crop_Mask_Mat(src, cropRegion); //每下一层金字塔,角度间隔减少2倍 step = 2; //角度开始和范围 range = 20; start = angle - 10; bool testFlag = false; for (int k = 0; k <= (int)range / step; k++) { newtemplate = ImageRotate(model, start + step * k, ref rotatedRect, ref mask); if (newtemplate.Width > newSrc.Width || newtemplate.Height > newSrc.Height) continue; Cv2.MatchTemplate(newSrc, newtemplate, result, TemplateMatchModes.CCoeffNormed, mask); Cv2.MinMaxLoc(result, out double minval, out double maxval, out CVPoint minloc, out CVPoint maxloc, new Mat()); if (double.IsInfinity(maxval)) { Cv2.MatchTemplate(src, newtemplate, result, TemplateMatchModes.CCorrNormed, mask); Cv2.MinMaxLoc(result, out minval, out maxval, out minloc, out maxloc, new Mat()); } if (maxval > temp) { //局部坐标 location.X = maxloc.X; location.Y = maxloc.Y; temp = maxval; angle = start + step * k; //局部坐标 modelrrect = rotatedRect; testFlag = true; } } if (testFlag) { //局部坐标--》整体坐标 location.X += cropRegion.X; location.Y += cropRegion.Y; } }

 为了提高匹配得分,当图片与模板都进行一定角度旋转后,会产生无效区域,影响匹配效果,此时我们需要创建掩膜图像.

/// <summary> /// 图像旋转,并获旋转后的图像边界旋转矩形 /// </summary> /// <param name="image"></param> /// <param name="angle"></param> /// <param name="imgBounding"></param> /// <returns></returns> public static Mat ImageRotate(Mat image, double angle,ref RotatedRect imgBounding,ref Mat maskMat) { Mat newImg = new Mat(); Point2f pt = new Point2f((float)image.Cols / 2, (float)image.Rows / 2); Mat M = Cv2.GetRotationMatrix2D(pt, -angle, 1.0); var mIndex = M.GetGenericIndexer<double>(); double cos = Math.Abs(mIndex[0, 0]); double sin = Math.Abs(mIndex[0, 1]); int nW = (int)((image.Height * sin) + (image.Width * cos)); int nH = (int)((image.Height * cos) + (image.Width * sin)); mIndex[0, 2] += (nW / 2) - pt.X; mIndex[1, 2] += (nH / 2) - pt.Y; Cv2.WarpAffine(image, newImg, M, new CVSize(nW, nH)); //获取图像边界旋转矩形 Rect rect = new CVRect(0, 0, image.Width, image.Height); Point2f[] srcPoint2Fs = new Point2f[4] { new Point2f(rect.Left,rect.Top), new Point2f (rect.Right,rect.Top), new Point2f (rect.Right,rect.Bottom), new Point2f (rect.Left,rect.Bottom) }; Point2f[] boundaryPoints = new Point2f[4]; var A = M.Get<double>(0, 0); var B = M.Get<double>(0, 1); var C = M.Get<double>(0, 2); //Tx var D = M.Get<double>(1, 0); var E = M.Get<double>(1, 1); var F = M.Get<double>(1, 2); //Ty for(int i=0;i<4;i++) { boundaryPoints[i].X = (float)((A * srcPoint2Fs[i].X) + (B * srcPoint2Fs[i].Y) + C); boundaryPoints[i].Y = (float)((D * srcPoint2Fs[i].X) + (E * srcPoint2Fs[i].Y) + F); if (boundaryPoints[i].X < 0) boundaryPoints[i].X = 0; else if (boundaryPoints[i].X > nW) boundaryPoints[i].X = nW; if (boundaryPoints[i].Y < 0) boundaryPoints[i].Y = 0; else if (boundaryPoints[i].Y > nH) boundaryPoints[i].Y = nH; } Point2f cenP = new Point2f((boundaryPoints[0].X + boundaryPoints[2].X) / 2, (boundaryPoints[0].Y + boundaryPoints[2].Y) / 2); double ang = angle; double width1=Math.Sqrt(Math.Pow(boundaryPoints[0].X- boundaryPoints[1].X ,2)+ Math.Pow(boundaryPoints[0].Y - boundaryPoints[1].Y,2)); double width2 = Math.Sqrt(Math.Pow(boundaryPoints[0].X - boundaryPoints[3].X, 2) + Math.Pow(boundaryPoints[0].Y - boundaryPoints[3].Y, 2)); //double width = width1 > width2 ? width1 : width2; //double height = width1 > width2 ? width2 : width1; imgBounding = new RotatedRect(cenP, new Size2f(width1, width2), (float)ang); Mat mask = new Mat(newImg.Size(), MatType.CV_8UC3, Scalar.Black); mask.DrawRotatedRect(imgBounding, Scalar.White, 1); Cv2.FloodFill(mask, new CVPoint(imgBounding.Center.X, imgBounding.Center.Y), Scalar.White); // mask.ConvertTo(mask, MatType.CV_8UC1); //mask.CopyTo(maskMat); //掩膜复制给maskMat Cv2.CvtColor(mask, maskMat, ColorConversionCodes.BGR2GRAY); Mat _maskRoI = new Mat(); Cv2.CvtColor(mask, _maskRoI, ColorConversionCodes.BGR2GRAY); Mat buf = new Mat(); //# 黑白反转 Cv2.BitwiseNot(_maskRoI, buf); Mat dst = new Mat(); Cv2.BitwiseAnd(newImg, newImg, dst, _maskRoI); //Mat dst2 = new Mat(); //Cv2.BitwiseOr(buf, dst, dst2); return dst; }

这个时候准备工作就完成的差不多,当然关于匹配精度(亚像素处理)这个地方就不做说明了,参考前文即可。测试的效果图如下:

0度:

25度:

-35度:

      3).  在NCC模式的基础上,同是结合shapematch,衍生出另外一种匹配方式:canny模板匹配,大家可以理解为先创捷canny图模板,然后再使用MatchTemplate方法,同时加入金字塔搜索策略。

创建Canny模板:

/// <summary> /// 创建Canny模板图像 /// </summary> /// <param name="src"></param> /// <param name="RegionaRect"></param> /// <param name="thresh"></param> /// <param name="temCannyMat"></param> /// <returns></returns> public Mat CreateTemplateCanny(Mat src,Rect RegionaRect,double thresh,ref Mat temCannyMat, ref double modelX, ref double modelY) { Mat ModelMat = MatExtension.Crop_Mask_Mat(src, RegionaRect); Mat Morphological = Morphological_Proces.MorphologyEx(ModelMat, MorphShapes.Rect, new OpenCvSharp.Size(3, 3), MorphTypes.Open); Mat binMat = new Mat(); Cv2.Threshold(Morphological, binMat, thresh, 255, ThresholdTypes.Binary); temCannyMat = EdgeTool.Canny(binMat, 50, 240); Mat dst = ModelMat.CvtColor(ColorConversionCodes.GRAY2BGR); CVPoint cenP = new CVPoint(RegionaRect.Width / 2, RegionaRect.Height / 2); modelX = RegionaRect.X + RegionaRect.Width / 2; modelY = RegionaRect.Y + RegionaRect.Height / 2; Console.WriteLine(string.Format("模板中心点位:x:{0},y:{1}", RegionaRect.X + RegionaRect.Width / 2, RegionaRect.Y + RegionaRect.Height / 2)); dst.drawCross(cenP, Scalar.Red, 20, 2); return dst; }

 模板图:

测试效果图如下:

      4)通过以上三种对比可发现,它们各有优缺点,shapematch形状匹配强调物体外形的完整性,操作简单,不需要额外构建掩膜和角步循环;NCC不需要选取这个物体来制作模板,只需要前景与背景有一定的区分即可,但是整体匹配效果一般,一些复杂的环境下可能会得不到想要的效果;Canny模板匹配结合了前面2中的部分优点,既可选取物体的局部特征,同时又有NCC匹配方法和策略;大家可以结合实际的项目,选取合适的方法达到最优的效果即可;当然网络上还有一些学术上更优更稳定的方法,如:基于梯度变化的模板匹配,大家也可以尝试一下,反正博主能力有限测试的时候没有达到想要的效果,特别是一些复杂的图像和尺寸较大的图像,测试的结果差强人意,同时实际的项目对于效率的要求也比较高,我们也不可能舍近求远,选择相对合适的即可。同时期待有共同兴趣的大佬们一起来探索发现和指正,大家共同进步。

PS:知识无国界,分享让大家都快乐!

本文链接地址:https://www.jiuchutong.com/zhishi/298530.html 转载请保留说明!

上一篇:vue面试题八股文简答大全 让你更加轻松的回答面试官的vue面试题(vue面试题视频)

下一篇:JavaScript获取数组对象里面的键(key)和值(value)(javascript获取数组索引)

  • 鸿蒙系统有充电提示音吗(鸿蒙系统充电温度限制)

    鸿蒙系统有充电提示音吗(鸿蒙系统充电温度限制)

  • 荣耀nfc怎么复制门禁卡(荣耀nfc怎么复制公交卡到手机)

    荣耀nfc怎么复制门禁卡(荣耀nfc怎么复制公交卡到手机)

  • ios12检查更新时出错(iphone12检查更新时出错)

    ios12检查更新时出错(iphone12检查更新时出错)

  • ipad键盘缩小了(ipad键盘缩小了怎么设置放大)

    ipad键盘缩小了(ipad键盘缩小了怎么设置放大)

  • 浏览不良网站对手机有哪些影响(浏览不良网站对个人有什么影响)

    浏览不良网站对手机有哪些影响(浏览不良网站对个人有什么影响)

  • 苹果11侧边按钮怎么关机(苹果11侧边按钮失灵怎么办)

    苹果11侧边按钮怎么关机(苹果11侧边按钮失灵怎么办)

  • 淘宝店注销后 可以开新吗(淘宝店注销后身份证还能再开淘宝店吗)

    淘宝店注销后 可以开新吗(淘宝店注销后身份证还能再开淘宝店吗)

  • wps怎么搜索文档里面的内容(wps如何搜索)

    wps怎么搜索文档里面的内容(wps如何搜索)

  • 华为怎么设置两个微信可以放在界面(华为怎么设置两个界面)

    华为怎么设置两个微信可以放在界面(华为怎么设置两个界面)

  • 手机不能语音是什么原因(手机用不了语音功能)

    手机不能语音是什么原因(手机用不了语音功能)

  • ipad air3充电几个小时(ipadair3充一次电可以用多久)

    ipad air3充电几个小时(ipadair3充一次电可以用多久)

  • 键盘上的锁屏键是哪个(键盘上的锁屏键怎么不管用)

    键盘上的锁屏键是哪个(键盘上的锁屏键怎么不管用)

  • 黑莓如何下载应用(黑莓手机怎么下载应用宝)

    黑莓如何下载应用(黑莓手机怎么下载应用宝)

  • 苹果8plus怎么变横屏(苹果8p怎么改成像苹果x那样的操作)

    苹果8plus怎么变横屏(苹果8p怎么改成像苹果x那样的操作)

  • vivoz5是玻璃后盖吗(vivoz5玻璃后盖怎么拆)

    vivoz5是玻璃后盖吗(vivoz5玻璃后盖怎么拆)

  • 小米手环可以测睡眠质量吗(小米手环可以测体重吗)

    小米手环可以测睡眠质量吗(小米手环可以测体重吗)

  • 陌陌关注多久可以语音(陌陌关注多久可以打电话)

    陌陌关注多久可以语音(陌陌关注多久可以打电话)

  • oppoFindx怎么设置微信亮屏(oppofindx怎么设置来电铃声)

    oppoFindx怎么设置微信亮屏(oppofindx怎么设置来电铃声)

  • oppoFindx拍照有水印吗(为什么oppo手机拍照有水印)

    oppoFindx拍照有水印吗(为什么oppo手机拍照有水印)

  • 怎样设置手机锁屏密码和图案(怎样设置手机锁屏显示时间)

    怎样设置手机锁屏密码和图案(怎样设置手机锁屏显示时间)

  • ati2sgag.exe进程安全吗 ati2sgag进程信息查询

    ati2sgag.exe进程安全吗 ati2sgag进程信息查询

  • accept命令  允许向目标打印机发送打印任务(admit允许)

    accept命令 允许向目标打印机发送打印任务(admit允许)

  • dede织梦提交表单并发送至邮箱(织梦怎么添加相关)

    dede织梦提交表单并发送至邮箱(织梦怎么添加相关)

  • 申请延期缴纳税款的批准机关
  • 小规模拍卖公司差额征税
  • 城镇土地使用税的征税范围有哪些
  • 冲减以前年度的成本会计分录
  • 开出收据要做财务报表吗
  • 股权收购收购方支付的期间损益计入
  • 增值税税率2019
  • 小微企业免税收入有哪些
  • 总分机构汇算清缴成功后还需要填表什么报表
  • 交易性金融资产入账价值怎么计算
  • 银行贴现差额部分计入什么科目?
  • 堤围防护费什么时候停止征收
  • 企业委托银行收款,银行以办妥手续,而企业尚未收到凭证
  • 销售合同总金额含税还是不含税
  • 代扣代缴个人所得税会计分录怎么做
  • 职工教育经费进项
  • 税收编码3040203
  • 个人在杂志上发表散文取得的所得
  • 利润分成的会计分录
  • mac怎么还原出厂设置
  • 以前年度损益调整怎么做账
  • 营业外收入的账户结构
  • 金银镶嵌首饰在哪个环节交消费税
  • 承兑找零怎么做凭证
  • phpwind教程
  • php imagecreatetruecolor 创建高清和透明图片代码小结
  • PHP:Memcached::getDelayedByKey()的用法_Memcached类
  • 借方为什么要转账
  • 贷款损失准备是什么类科目
  • nerosvc.exe - nerosvc是什么进程 有什么用
  • 车船税不计提怎么做分录
  • php获取文件内容的函数
  • 提租补贴计入个税吗
  • gridview功能
  • html文档基本结构包括哪几部分
  • 公司想减少注册资本流程
  • node教程
  • 记一次调试YOLOv5+DeepSort车辆跟踪项目的经过
  • cdr快捷键命令大全
  • 酒店押金的账务处理
  • 股东投资款怎么存入公司
  • 本月应付电费400元,下月支付
  • 新公司成立的文案
  • 增值税专用发票丢了怎么补救
  • 待摊费用科目分录
  • 股东股权转让后还能起诉公司或者股东侵害其权利吗
  • 化肥贸易行业
  • 营改增的范围
  • 购置固定资产进项税处理的变迁
  • 红字发票信息表在哪里查询
  • 小规模免增值税吗
  • 自产自销的茶叶公司怎么做账
  • 资产负债表怎么看财务状况
  • 建账基本要求
  • 账户与会计科目有什么联系与区别?
  • mysql group order
  • w10预览版21343下载
  • solaris syslog
  • centos的优缺点
  • kmservice.exe是什么
  • 抢先体验的游戏可以退款吗
  • centos设置双网卡
  • win8.1系统升级
  • win10任务快速切换
  • windows 10预览版
  • 谷歌浏览器点更新没反应
  • cocos2d-x 3.2 在window平台vs2012下解决中文乱码问题
  • unity游戏人物选择
  • php和mysql的结合是目前web开发中的黄金组合
  • js日历控件代码和效果
  • 鼠标瞬间移动
  • cocos引擎教程
  • unity程序基础框架
  • jQuery mobile的header和footer在点击屏幕的时候消失的解决办法
  • python简易
  • python 嵌套
  • 更改税务购票员
  • 已代扣代缴个人所得税,他人还需要缴纳个人所得税吗?
  • 拆迁户契税减免政策文件
  • 兴安盟县城
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设