位置: IT常识 - 正文

超像素(superpixel)——SLIC和深度学习法(超像素和markpage的区别)

编辑:rootadmin
超像素(superpixel)——SLIC和深度学习法 定义

推荐整理分享超像素(superpixel)——SLIC和深度学习法(超像素和markpage的区别),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:超像素只有一层图层吗,超像素生存破解版,超像素生存破解版,超像素只有一层图层吗,超像素生存破解版,超像素分割,超像素分割,超像素算法,内容如对您有帮助,希望把文章链接给更多的朋友!

可以理解成在图像上做的聚类问题。超像素的做法是将感知上相似的像素组在一起,称为一个超像素,以此来提供图像数据的紧凑表示。然后在后续的处理,处理单位就变成了超像素,而不是我们常用的像素。

一般超像素的结果可以为下游任务提供帮助,比如说语义分割、对象检测等。

SLIC

Simple Linear Iterative Clustering,简单的线性迭代聚类

论文:2011-PAMI-SLIC Superpixels Compared to State-of-the-art Superpixel Methods

前提:这个算法实在CIELAB这个颜色空间上做的,即每个pixel的值用来表示,其中表示亮度(取值范围0-100,数值越大越亮);表示红色到绿色之间的色域(负值表示绿色,正值表示红色);表示黄色和蓝色之间的色域(负值表示蓝色,正值表示黄色)。

符号表示:

假设一张图片有N个像素,需要我们人为去设定的超参数有且仅有一个,就是超像素的个数k。

那么,每个超像素的平均面积是,每个超像素中心的平均间隔是

算法实现:

关于初始化:

初始化各个超像素中心的位置。比如一张图片的大小为,将其均分成个grid,然后设置每个grid的中心为一个超像素的中心。微调这些超像素的中心,在以它们为中心的邻域里进行计算,将超像素中心更换成其中梯度值最小的。这样做的目的是为了防止超像素中心落在边缘/噪点上。标签表示像素i属于哪一个superpixel,距离表示像素i与其所属的superpixel的中心的距离。初始化每一个像素i的,

进行下面迭代直到收敛,收敛的前提是误差满足一定要求:

对于每个聚类中心:

        对于以其为中心的邻域内的每个像素i: 

                计算与i之间的距离D

                如果,那么更新,。

超像素(superpixel)——SLIC和深度学习法(超像素和markpage的区别)

                [这表明将i分到以为中心的超像素中]

重新计算聚类中心

关于点与点之间距离D的定义:

由两个距离加权而得,分别是颜色域之间的距离和空间域之间的距离。

颜色域距离: 

空间域距离:

距离D的计算:

,其中指的是maximum spatial distance,超像素中包含的平均像素个数,即为S;指的是maximum color distance,在实际应用中通常用一个人为设定的常数m来表示即可。

那么,上式可以被重写成

我们实际生活中用的距离公式与上式等价

m越大,距离D受空间域距离影响越大,产生的超像素将更紧凑;m越小,距离D受颜色域影响越大,产生的超像素将更加紧密地附着在图像边界(edge)上。

 代码实现

源码地址:GitHub - aleenaniklaus/SLIC_superpixels: SLIC Superpixels* implementation was my final computer vision project. Superpixels are instrumental in segmentation. This implementation is a proof of concept as taken from SLICsuperpixels paper mentioned in README.SLIC Superpixels* implementation was my final computer vision project. Superpixels are instrumental in segmentation. This implementation is a proof of concept as taken from SLICsuperpixels paper mentioned in README. - GitHub - aleenaniklaus/SLIC_superpixels: SLIC Superpixels* implementation was my final computer vision project. Superpixels are instrumental in segmentation. This implementation is a proof of concept as taken from SLICsuperpixels paper mentioned in README.https://github.com/aleenaniklaus/SLIC_superpixels

稍微修改了一下代码细节,让大家能更加直观地看到超像素分割和原图信息的对应关系。另外,我们还能从超像素图导出一张超像素掩码(superpixel mask),也就是将超像素的边缘设置成0,超像素内部设置为1的mask。这个掩码能在一定程度上反映图片的结构信息。

import numpyimport cv2import tqdmimport argparse# 将原作者的sys转换成paramsparser = argparse.ArgumentParser(description='SLIC-python')parser.add_argument('--img_path', default='lena.png', type=str, help="单张图片的路径")parser.add_argument('--k', default=500, type=int, help="超像素个数")parser.add_argument('--SLIC_ITERATIONS', default=4, type=int, help="SLIC计算过程中的迭代次数")parser.add_argument('--m', default=40, type=int, help="权衡颜色和位置对距离影响的权重参数")args = parser.parse_args()def generate_pixels(): indnp = numpy.mgrid[0:SLIC_height, 0:SLIC_width].swapaxes(0, 2).swapaxes(0, 1) # 迭代SLIC_ITERATIONS次 for i in tqdm.tqdm(range(SLIC_ITERATIONS)): SLIC_distances = 1 * numpy.ones(img.shape[:2]) # 按次序取出聚类中心SLIC_centers[j] for j in range(SLIC_centers.shape[0]): # 框出该聚类中心的搜索范围 x_low, x_high = int(SLIC_centers[j][3] - step), int(SLIC_centers[j][3] + step) y_low, y_high = int(SLIC_centers[j][4] - step), int(SLIC_centers[j][4] + step) # 防止搜索范围超出图像边界[保证搜索范围有效性] if x_low <= 0: x_low = 0 if x_high > SLIC_width: x_high = SLIC_width if y_low <= 0: y_low = 0 if y_high > SLIC_height: y_high = SLIC_height # cropimg是该聚类中心对应的2S\times2S内的有效邻域 cropimg = SLIC_labimg[y_low: y_high, x_low: x_high] # 挨个像素算出颜色差 color_diff = cropimg - SLIC_labimg[int(SLIC_centers[j][4]), int(SLIC_centers[j][3])] # 算出颜色距离 color_distance = numpy.sqrt(numpy.sum(numpy.square(color_diff), axis=2)) yy, xx = numpy.ogrid[y_low: y_high, x_low: x_high] # 算出空间距离 pixdist = ((yy - SLIC_centers[j][4]) ** 2 + (xx - SLIC_centers[j][3]) ** 2) ** 0.5 # 运用论文中的(2)式计算邻域内pixel与该邻域中心的聚类中心的距离(加权求和) # SLIC_m is "m" in the paper, (m/S)*dxy dist = ((color_distance / SLIC_m) ** 2 + (pixdist / step) ** 2) ** 0.5 # 更新距离,更新了距离的pixel也更新聚类中心为SLIC_centers[j] distance_crop = SLIC_distances[y_low: y_high, x_low: x_high] idx = dist < distance_crop distance_crop[idx] = dist[idx] SLIC_distances[y_low: y_high, x_low: x_high] = distance_crop SLIC_clusters[y_low: y_high, x_low: x_high][idx] = j for k in range(len(SLIC_centers)): # 对于第k个聚类,找到聚类中心为SLIC_centers[k]的pixel idx = (SLIC_clusters == k) # 分别取出他们的颜色和位置索引 colornp = SLIC_labimg[idx] distnp = indnp[idx] # 重新计算聚类中心的颜色和位置坐标(这个聚类中心和k-means中的一样,不一定是已有的点) SLIC_centers[k][0:3] = numpy.sum(colornp, axis=0) sumy, sumx = numpy.sum(distnp, axis=0) SLIC_centers[k][3:] = sumx, sumy ### 注:numpy.sum(idx)是该聚类pixel数目 SLIC_centers[k] /= numpy.sum(idx)# At the end of the process, some stray labels may remain meaning some pixels# may end up having the same label as a larger pixel but not be connected to it# In the SLIC paper, it notes that these cases are rare, however this# implementation seems to have a lot of strays depending on the inputs givendef create_connectivity(): """ 按照论文的说法,总有那么些点和它对应的超像素是分离的(比较零散的碎点) 运用connected components algorithm来将这些零散的点分配给最近的聚类中心 """ label = 0 adj_label = 0 lims = int(SLIC_width * SLIC_height / SLIC_centers.shape[0]) new_clusters = -1 * numpy.ones(img.shape[:2]).astype(numpy.int64) elements = [] for i in range(SLIC_width): for j in range(SLIC_height): if new_clusters[j, i] == -1: elements = [] elements.append((j, i)) for dx, dy in [(-1, 0), (0, -1), (1, 0), (0, 1)]: x = elements[0][1] + dx y = elements[0][0] + dy if (x >= 0 and x < SLIC_width and y >= 0 and y < SLIC_height and new_clusters[y, x] >= 0): adj_label = new_clusters[y, x] # end # end # end count = 1 counter = 0 while counter < count: for dx, dy in [(-1, 0), (0, -1), (1, 0), (0, 1)]: x = elements[counter][1] + dx y = elements[counter][0] + dy if (x >= 0 and x < SLIC_width and y >= 0 and y < SLIC_height): if new_clusters[y, x] == -1 and SLIC_clusters[j, i] == SLIC_clusters[y, x]: elements.append((y, x)) new_clusters[y, x] = label count += 1 # end # end # end counter += 1 # end if (count <= lims >> 2): for counter in range(count): new_clusters[elements[counter]] = adj_label # end label -= 1 # end label += 1 # end # end SLIC_new_clusters = new_clusters# enddef display_contours(color): is_taken = numpy.zeros(img.shape[:2], numpy.bool) # 标志哪些点是聚类与聚类之间的edge contours = [] for i in range(SLIC_width): for j in range(SLIC_height): nr_p = 0 for dx, dy in [(-1, 0), (-1, -1), (0, -1), (1, -1), (1, 0), (1, 1), (0, 1), (-1, 1)]: x = i + dx y = j + dy if x >= 0 and x < SLIC_width and y >= 0 and y < SLIC_height: if is_taken[y, x] == False and SLIC_clusters[j, i] != SLIC_clusters[y, x]: nr_p += 1 # end # end # end if nr_p >= 2: is_taken[j, i] = True contours.append([j, i]) # 将这些edge-pixel全用黑色来表示 for i in range(len(contours)): img[contours[i][0], contours[i][1]] = color mask[contours[i][0], contours[i][1]] = color # end# enddef find_local_minimum(center): """ 微调 在3\times3领域内找梯度最小的点作为初始聚类中心 """ min_grad = 1 loc_min = center for i in range(center[0] - 1, center[0] + 2): for j in range(center[1] - 1, center[1] + 2): c1 = SLIC_labimg[j + 1, i] c2 = SLIC_labimg[j, i + 1] c3 = SLIC_labimg[j, i] if ((c1[0] - c3[0]) ** 2) ** 0.5 + ((c2[0] - c3[0]) ** 2) ** 0.5 < min_grad: min_grad = abs(c1[0] - c3[0]) + abs(c2[0] - c3[0]) loc_min = [i, j] return loc_mindef calculate_centers(): """ 按照grid_cell初始化聚类中心 """ centers = [] for i in range(step, SLIC_width - int(step / 2), step): for j in range(step, SLIC_height - int(step / 2), step): nc = find_local_minimum(center=(i, j)) # 微调 color = SLIC_labimg[nc[1], nc[0]] center = [color[0], color[1], color[2], nc[0], nc[1]] # LAB+XY centers.append(center) return centers # 储存聚类中心的信息# 样例命令是slic.py Lenna.png 1000 40# sys.argv[1]是放图片路径# sys.argv[2]这个参数指示划分的superpixel的个数# sys.argv[3]这个参数是论文中的m与论文中的m对应,是计算点与点间的距离时用于衡量颜色距离和空间距离所占权重的重要参数# global variablesimg = cv2.imread(args.img_path)mask = 255 * numpy.ones(img.shape).astype('uint8')step = int((img.shape[0] * img.shape[1] / args.k) ** 0.5) # 每个superpixel中心之间的平均距离SLIC_m = args.mSLIC_ITERATIONS = args.SLIC_ITERATIONS # 迭代次数SLIC_height, SLIC_width = img.shape[:2]SLIC_labimg = cv2.cvtColor(img, cv2.COLOR_BGR2LAB).astype(numpy.float64) # BGR转LAB# 初始化距离和每个点所属聚类中心SLIC_distances = 1 * numpy.ones(img.shape[:2])SLIC_clusters = -1 * SLIC_distances ### 我们应该是依靠这个搞出mask #### 聚类中心初始化SLIC_center_counts = numpy.zeros(len(calculate_centers()))SLIC_centers = numpy.array(calculate_centers())# maingenerate_pixels() # 迭代SLIC_ITERATIONS次,聚好各组点,算出他们的聚类中心位置和类颜色create_connectivity() # 后处理,对一些比较零散的点重新分配给邻近的聚类calculate_centers()display_contours([0.0, 0.0, 0.0])img2 = numpy.hstack((img, mask))cv2.imwrite(args.img_path.replace(".png","_{}_SLIC.png".format(args.k)), img2)结果展示

我们用非常经典的lena图片来做展示:

设置超像素为500:

 

 设置超像素为100:

深度学习学超像素的方法我后续再补充上来

本文链接地址:https://www.jiuchutong.com/zhishi/297789.html 转载请保留说明!

上一篇:幂等性是什么?(java幂等性是什么)

下一篇:Spring Boot 3.0系列【19】核心特性篇之自定义Starter启动器(spring boot 2.3.0)

  • 快手订单怎么删除不了(快手订单怎么删除)

    快手订单怎么删除不了(快手订单怎么删除)

  • oppo查找手机显示离线什么意思(oppo查找手机显示所有设备均离线)

    oppo查找手机显示离线什么意思(oppo查找手机显示所有设备均离线)

  • 苹果手机铃声音量突然变小(苹果手机铃声音频)

    苹果手机铃声音量突然变小(苹果手机铃声音频)

  • 戴尔电脑开机停在屏保(戴尔电脑开机停在logo按什么都没反应)

    戴尔电脑开机停在屏保(戴尔电脑开机停在logo按什么都没反应)

  • 咕咕机怎么连接不上蓝牙(咕咕机怎么连接电脑)

    咕咕机怎么连接不上蓝牙(咕咕机怎么连接电脑)

  • 微信如何冻结(微信如何冻结支付账户)

    微信如何冻结(微信如何冻结支付账户)

  • 电脑为啥连不上wifi受限(电脑为啥连不上手机热点显示无法连接这个网络)

    电脑为啥连不上wifi受限(电脑为啥连不上手机热点显示无法连接这个网络)

  • 优学派可以下载微信吗(优学派可以下载高中的课程吗)

    优学派可以下载微信吗(优学派可以下载高中的课程吗)

  • 编解码器缺失或不可用什么意思(缺少编解码器 0xc004f011)

    编解码器缺失或不可用什么意思(缺少编解码器 0xc004f011)

  • 苹果手机数据转移到另一个苹果手机(苹果手机数据转移微信记录还在吗)

    苹果手机数据转移到另一个苹果手机(苹果手机数据转移微信记录还在吗)

  • vue怎么把视频放大(vue怎么把视频放大或者缩小)

    vue怎么把视频放大(vue怎么把视频放大或者缩小)

  • iPhone11pro怎么重启(苹果pro11怎么重启)

    iPhone11pro怎么重启(苹果pro11怎么重启)

  • 拼多多从哪里备注(拼多多从哪里备注好友)

    拼多多从哪里备注(拼多多从哪里备注好友)

  • 华为手机反向充电怎么开(华为手机反向充电怎么关闭)

    华为手机反向充电怎么开(华为手机反向充电怎么关闭)

  • 苹果6来电没声音怎么办(苹果来电没声音)

    苹果6来电没声音怎么办(苹果来电没声音)

  • 苹果11能快充吗(苹果11能用35w快充吗)

    苹果11能快充吗(苹果11能用35w快充吗)

  • 华为mate30pro什么时候在国内上市(华为mate30Pro什么处理器)

    华为mate30pro什么时候在国内上市(华为mate30Pro什么处理器)

  • 什么是微服务(什么是微服务注册大发现)

    什么是微服务(什么是微服务注册大发现)

  • 如何把微信好友移到另一个微信(如何把微信好友拉黑)

    如何把微信好友移到另一个微信(如何把微信好友拉黑)

  • 安卓手机如何打开.aspx文件(安卓手机如何打开zip文件)

    安卓手机如何打开.aspx文件(安卓手机如何打开zip文件)

  • qq红钻在手机上怎么用(qq手机版红钻在哪充值)

    qq红钻在手机上怎么用(qq手机版红钻在哪充值)

  • 苹果电脑任务栏还原到下面教程(苹果电脑任务栏跑到左边去了)

    苹果电脑任务栏还原到下面教程(苹果电脑任务栏跑到左边去了)

  • Yolov5中使用Resnet18作为主干网络(yolov5中使用的限制目标宽高的方法防止梯度爆炸)

    Yolov5中使用Resnet18作为主干网络(yolov5中使用的限制目标宽高的方法防止梯度爆炸)

  • 计提并结转所得税费用的会计分录
  • 收到银行存兑汇票
  • 母公司给子公司注资需要什么手续
  • 通用机打发票没有税率
  • 拆装厂房
  • 公户转到老板私人账户
  • 私立医院收到投诉信
  • 企业所得税业务费扣除标准
  • 银行每年存款任务
  • 印花税必须每个月零申报吗
  • 2020退税时间超过了怎么办
  • 资产负债表在途物资属于存货吗
  • 劳务报酬属于公司员工么
  • 增值税电子普通发票怎么下载
  • 出口专用发票可抵扣吗
  • 基金公司管理费收入增值税
  • 一般纳税人库存商品怎么做分录
  • 软件产品合同
  • 电子发票财务怎么操作
  • 研发费用的会计和税法的不同
  • 投资者与被投资者的名人
  • php封装接口
  • php 二叉树的遍历
  • php编程入门教程
  • java本地缓存框架有哪些
  • 厂区租赁 法律规定
  • 软件企业会计账务处理
  • 收到投资款怎么做账
  • 固定资产清理的金额怎么算
  • 小企业会计准则和一般企业会计准则的区别
  • python如何运行
  • 浅析学校德育的个体智能发展功能
  • 租房押金会计分录是什么
  • 坏账准备计提比例一般是多少
  • 小规模都是季度报税吗
  • 年末计提哪些科目
  • 公允价值变动损益影响利润吗
  • 景点门票做什么科目
  • 单位买的空调计入什么科目
  • sql扩展
  • 运输费用如何做账
  • 工资中的扣款怎么做账
  • 单位发放职工2000元慰问金申请怎么写
  • 土地出让金抵减销项税计算
  • 应收账款应付账款可以抵消吗
  • 小规模纳税人申请一般纳税人流程
  • 资产减值损失可以计入营业外支出吗
  • 支票拿到银行怎么用
  • 小企业会计准则主要按照什么计量
  • 更新profile
  • Ubuntu安装搜狗输入法
  • xp 控制面板
  • ConquerCam.exe进程的详细介绍 ConquerCam进程信息介绍
  • 苹果macmimi
  • linux手动设置ip指令
  • win7旗舰版系统怎么样
  • 全球知名的中文搜索引擎
  • msn无法登录
  • Win10桌面版红石预览版14295更新(修复)、已知问题及解决方案汇总
  • windows7宽带连接断开怎么办
  • android开发webview
  • java美化按钮
  • android:AndroidAnnotations上传文件,网络接口如此简洁
  • Begin OpenGL with Python-1st Day,draw a simple sample.
  • js如何引用
  • 使用的英文
  • python2.7多进程
  • sql服务3417
  • nodejsorg
  • python pygame模块详解
  • javascript简明教程
  • python并发和并行
  • jquery map遍历
  • android8.0特性
  • 国税局公告2019年43号
  • 加油站怎么收税
  • 车辆购置税申报车辆登记地怎么填
  • 迅雷网站官网下载
  • 房地产契税2023年最新政策
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设