位置: IT常识 - 正文

Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github)

编辑:rootadmin
Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践

推荐整理分享Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:segment anything model配置,segment anything model,segment anything model官网,segment anything model官网,segment anything model模型 需要的配置,segment anything model模型 需要的配置,segment anything model官网,segment anything model,内容如对您有帮助,希望把文章链接给更多的朋友!

不得不说,最近的AI技术圈很火热,前面的风头大都是chatGPT的,自从前提Meta发布了可以分割一切的CV大模型之后,CV圈也热起来了,昨天只是初步了解了一下SAM,然后写了一篇基础介绍说明的博客,早上一大早起来已经有2k左右的阅读量了。

 我果断跑去官方项目地址看下:

 好恐怖的增长速度,昨天写博客的时候也不到6k,今天一早已经翻一倍,估计随着这波宣传推广后,会迎来更加恐怖的增长,说明大家对他还是满怀期待的。

今天主要是下载了官方的源码,想要自己实践使用一下预测提示输入这样的效果。

在官方的介绍中可以看到:

 可以有两种使用当时,这里我先实践使用的是第一种的方式,我使用的测试图片也是官方源码附带的,如下:

 这里可以下载三款模型,如下:

 这里我遵从官方的指导,使用默认的H系列的模型也就是sam_vit_h_4b8939.pth

显示原图,如下:

image = cv2.imread('truck.jpg')image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)plt.figure(figsize=(10,10))plt.imshow(image)plt.axis('on')plt.show()

结果如下:

 接下来可以加载所需要的模型权重,如下:

predictor = SamPredictor(build_sam(checkpoint="weights/sam_vit_h_4b8939.pth"))

SAM预测对象掩码,给出预测所需对象的提示。该模型首先将图像转换为图像嵌入,该图像嵌入允许从提示有效地生成高质量的掩模。SamPredictor类为模型提供了一个简单的接口,用于提示模型。它允许用户首先使用set_image方法设置图像,该方法计算必要的图像嵌入。然后,可以通过预测方法提供提示,以根据这些提示有效地预测掩码。该模型可以将点提示和框提示以及上一次预测迭代中的掩码作为输入。

之后可以使用set_image喂入自己的图像数据,如下:

predictor.set_image(one_img)masks, scores, logits = predictor.predict( point_coords=input_point, point_labels=input_label, multimask_output=True,)print("masks.shape: ", masks.shape)

运行输出如下所示:

masks.shape: (3, 1200, 1800)

这是打印出来的掩码的size,我们接下来直观地展示出来掩码的效果:

 图像中我加入了一片绿叶,用来标记自己加入的提示信息,这样更为明显一些

可以看到:一个点的标记提示,SAM分割出来了三种结果,最后一种是我们所需要的整车的分割,但是前面两种也是正确的,只是说是做的车窗的分割,那么如何能让SAM更加有效理解我们的实际意图呢?

安装官方的说法是可以加入多提示,在这里这个例子的话我们就可以再加入别的点就行,如下:

我额外标记了一点,“误导”模型,如下:

 红色的小花我标记为不属于车身,模型最终分割的效果就是只有车窗了。

接下来,我将其标记改为属于目标对象,效果如下:

Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github)

 可以看到:这次模型只返回了一个结果,而且是我们自己想要的结果。

当然了,如果已经亲身体验过官方开源的Demo网站的话,应该就知道官方也提供了可以画Box指定区域实现分割,这里也是可以的。

 接下来来看实践代码,如下:

predictor.set_image(one_img)input_box = np.array([425, 600, 700, 875])masks, _, _ = predictor.predict( point_coords=None, point_labels=None, box=input_box[None, :], multimask_output=False,)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)show_mask(masks[0], plt.gca())show_box(input_box, plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下:

 还是很不错的。

我这里之所以直接使用源码内置的数据,主要就是不想再麻烦去自己标注这些点或者是画框,本来就是为了演示实践功能的。

到此为止是不是觉得也就这样的,其实还有,单独提示输入点或者框都是可以完美分割的,那么同时输入点和框呢?答案是肯定也可以,官方的Demo已经证实了,如下:

 接下来就是看如何用代码实现了,如下:

#点+框分割predictor.set_image(one_img)masks, _, _ = predictor.predict( point_coords=input_point, point_labels=input_label, box=input_box, multimask_output=False,)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)show_mask(masks[0], plt.gca())show_box(input_box, plt.gca())show_points(input_point, input_label, plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下所示:

 因为标注了红色小花为北京区域,这里SAM直接分割出来的就是轮胎轮廓了,而不是整体了还是很不错的了。

点+框的组合都可以,那么如果想批量输入提示信息是否也是可以的呢?答案也是可以的,这里我们就看代码如何实现:

predictor.set_image(one_img)input_box = np.array([425, 600, 700, 875])transformed_boxes = predictor.transform.apply_boxes_torch(input_boxes, one_img.shape[:2])masks, _, _ = predictor.predict_torch( point_coords=None, point_labels=None, boxes=transformed_boxes, multimask_output=False,)print("masks_shape: ", masks.shape)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)for mask in masks: show_mask(mask.cpu().numpy(), plt.gca(), random_color=True)for box in input_boxes: show_box(box.cpu().numpy(), plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下所示:

 官方同样实现了更加高效简洁的端到端推理方式,如果所有提示都提前可用,则可以以端到端的方式直接运行SAM。这也允许对图像进行批处理。

图像和提示都作为PyTorch张量输入,这些张量已经转换为正确的帧。输入被打包为图像上的列表,每个元素都是一个dict,它采用以下键:

image:以CHW格式作为PyTorch张量的输入图像。

original_size:转换为SAM输入之前的图像大小,格式为(H,W)。

point_coords:点提示的批量坐标。

point_labels:点提示的批处理标签。

boxes:批量输入框。

mask_inputs:批量输入掩码。

如果没有提示,则可以排除该键。

输出是每个输入图像的结果列表,其中列表元素是具有以下键的字典: 掩码:预测的二进制掩码的批量火炬张量,即原始图像的大小。 iou_predictions:模型对每个遮罩的质量的预测。 low_res_logits:每个掩码的低分辨率logits,可以在以后的迭代中作为掩码输入传回模型。

代码实例如下:

image1 = image # truck.jpgimage1_boxes = torch.tensor([ [75, 275, 1725, 850], [425, 600, 700, 875], [1375, 550, 1650, 800], [1240, 675, 1400, 750],], device=device)image2 = cv2.imread('truck.jpg')image2 = cv2.cvtColor(image2, cv2.COLOR_BGR2RGB)image2_boxes = torch.tensor([ [450, 170, 520, 350], [350, 190, 450, 350], [500, 170, 580, 350], [580, 170, 640, 350],], device=device)from segment_anything.utils.transforms import ResizeLongestSideresize_transform = ResizeLongestSide(sam.image_encoder.img_size)batched_input = [ { 'image': prepare_image(image1, resize_transform, sam), 'boxes': resize_transform.apply_boxes_torch(image1_boxes, image1.shape[:2]), 'original_size': image1.shape[:2] }, { 'image': prepare_image(image2, resize_transform, sam), 'boxes': resize_transform.apply_boxes_torch(image2_boxes, image2.shape[:2]), 'original_size': image2.shape[:2] }]batched_output = sam(batched_input, multimask_output=False)print(batched_output[0].keys())fig, ax = plt.subplots(1, 2, figsize=(20, 20))ax[0].imshow(image1)for mask in batched_output[0]['masks']: show_mask(mask.cpu().numpy(), ax[0], random_color=True)for box in image1_boxes: show_box(box.cpu().numpy(), ax[0])ax[0].axis('off')ax[1].imshow(image2)for mask in batched_output[1]['masks']: show_mask(mask.cpu().numpy(), ax[1], random_color=True)for box in image2_boxes: show_box(box.cpu().numpy(), ax[1])ax[1].axis('off')plt.tight_layout()plt.show()

结果如下:

 花了基本上一早上把预测提示输入的实践走了一遍感觉还是可圈可点的,后面再继续研究吧。

本文链接地址:https://www.jiuchutong.com/zhishi/295381.html 转载请保留说明!

上一篇:React--》useReducer的讲解与使用(react reducer详解)

下一篇:利用Python实现酒店评论的中文情感分析,含数据集(用python编写)

  • dwg文件怎么打开(t3.dwg文件怎么打开)

    dwg文件怎么打开(t3.dwg文件怎么打开)

  • 青年湖南怎么切换账号(青年湖南如何切换账号)

    青年湖南怎么切换账号(青年湖南如何切换账号)

  • 微博如何看我是谁的铁粉(微博怎么看我是谁的粉丝)

    微博如何看我是谁的铁粉(微博怎么看我是谁的粉丝)

  • 为什么vue视频保存不了(vue视频保存不了)

    为什么vue视频保存不了(vue视频保存不了)

  • 微波技术的应用(微波技术的应用论文)

    微波技术的应用(微波技术的应用论文)

  • 京东支付密码是什么(京东支付密码是什么时候设置的)

    京东支付密码是什么(京东支付密码是什么时候设置的)

  • 华为屏保图片怎么关闭自动下载(华为屏保图片怎么设置)

    华为屏保图片怎么关闭自动下载(华为屏保图片怎么设置)

  • 安卓手机可以修改微信号吗(安卓手机可以修改airpods名称吗)

    安卓手机可以修改微信号吗(安卓手机可以修改airpods名称吗)

  • 京东没有确认收货按钮(京东没有确认收货这一选项)

    京东没有确认收货按钮(京东没有确认收货这一选项)

  • airpods是出厂就激活么(airpods出厂价是多少)

    airpods是出厂就激活么(airpods出厂价是多少)

  • r9 270x相当于什么n卡(r9270x相当于n卡什么水平)

    r9 270x相当于什么n卡(r9270x相当于n卡什么水平)

  • 录音m4a是啥意思(录音m4a和mp3的区别)

    录音m4a是啥意思(录音m4a和mp3的区别)

  • touch是什么手机(TOUCH是什么手机型号)

    touch是什么手机(TOUCH是什么手机型号)

  • 充电器5v1a和5v2a区别(充电器5v1a和5v2a那个充电快)

    充电器5v1a和5v2a区别(充电器5v1a和5v2a那个充电快)

  • 华为mate30桌面上的时间和天气不见了咋办(华为mate30桌面上的小圆圈)

    华为mate30桌面上的时间和天气不见了咋办(华为mate30桌面上的小圆圈)

  • qq电话可以听回放吗(qq电话可以回听吗)

    qq电话可以听回放吗(qq电话可以回听吗)

  • a1443是什么型号充电器(a1493是什么型号)

    a1443是什么型号充电器(a1493是什么型号)

  • 固态硬盘电源线在哪里(固态硬盘电源线4线跟5线有什么区别)

    固态硬盘电源线在哪里(固态硬盘电源线4线跟5线有什么区别)

  • 安卓手机谷歌地图怎么设置中文(安卓手机谷歌地图怎么用不了)

    安卓手机谷歌地图怎么设置中文(安卓手机谷歌地图怎么用不了)

  • 苹果蓝牙耳机怎么分辨真假(苹果蓝牙耳机怎么使用)

    苹果蓝牙耳机怎么分辨真假(苹果蓝牙耳机怎么使用)

  • 苹果x连接电脑没反应(苹果x连接电脑刷机按键)

    苹果x连接电脑没反应(苹果x连接电脑刷机按键)

  • 裸机指计算机仅有什么(裸机指计算机仅指什么)

    裸机指计算机仅有什么(裸机指计算机仅指什么)

  • 苹果x盒子里配了什么(iphonex盒子标配)

    苹果x盒子里配了什么(iphonex盒子标配)

  • 荣耀10快充多少瓦(荣耀快充多少钱一个)

    荣耀10快充多少瓦(荣耀快充多少钱一个)

  • 饿了吗怎么给骑手好评(饿了吗怎么给骑手差评啊)

    饿了吗怎么给骑手好评(饿了吗怎么给骑手差评啊)

  • 防沉迷怎么修改

    防沉迷怎么修改

  • ChatGPT史上最强AI,即将取代人类?(史上最强i3)

    ChatGPT史上最强AI,即将取代人类?(史上最强i3)

  • 房产租金收入免不免房产税?
  • 广播影视服务税率2023
  • 一般纳税人是什么型企业
  • 顺流交易为什么调整被投资方
  • 未达起征点的增值税怎么账务处理
  • 建筑业确认收入的时间是按进度计量么
  • 顺丰电子发票开错了可以重新开吗
  • 劳务成本会计科目
  • 全额抵扣的发票怎么申报增值税
  • 车辆的鉴定评估方法
  • 关联方费用分摊是否要调账
  • 增值税发票验证码
  • 当期应税销售收入是含税还是不含税
  • 分配利润顺序
  • 服务业工资计入成本还是营业费用
  • 建筑劳务公司收到劳务费会计分录
  • 房地产所得税税负率计算公式
  • 个体工商户网上报税流程
  • 框架采购合同如何计贴印花税?
  • 免税农产品抵扣政策
  • 封装windows10
  • 如何免费获取Win11企业版
  • 固定资产清理是什么项目
  • windows history命令
  • 如何让电脑硬件损坏
  • win11多开
  • php for break
  • 什么是产品?产品的举例子
  • php数据库连接失败怎么办
  • 申报补缴是什么意思
  • 单臂路由实验目的
  • ThinkPHP中html:list标签用法分析
  • 扣缴单位无有效的税费种认定信息
  • 政府会计制度应付职工薪酬账务处理
  • 使用二氧化碳灭火器时人应该站在什么位置
  • node 和vue
  • canvas画线条
  • vue生命周期钩子函数
  • 在建工程可以核酸无形资产
  • mysql嵌套语句
  • 资产负债表不能有负数吗
  • 固定资产原值增加当月计提折旧吗
  • 电子承兑汇票贴现怎么做账
  • sql server概述
  • 个人所得税劳务所得
  • 个体工商户开普票需要进项票吗
  • 制造费用的核算内容包括什么
  • 注销时其他应付款借方余额怎么账务处理
  • 收到利息收入如何做分录
  • 出售投资性房地产的收入计入什么科目
  • 社保稳岗补贴账务处理分录
  • 汇算清缴怎么申报
  • 影视公司临时演员怎么办
  • 开出发票上有折扣的怎么入账?
  • 购电脑怎么入账
  • 可供出售金融资产公允价值变动
  • 发票抬头注意事项
  • 往来账是什么样的
  • sql server无法连接服务器的原因
  • mysql2003错误如何解决10061
  • centos6.5中文
  • 如何给电脑重装系统win7系统
  • 如何隐藏windows激活水印
  • winadslave.exe - winadslave是什么进程
  • xp系统与win7系统的电脑怎么组成局域网
  • centos 6.0
  • win7 安装系统
  • win8.1怎么用
  • 置顶通知要开启吗
  • python怎么运作
  • 简介英文
  • windows如何进行批处理
  • Android异常重启保护机制
  • python怎么爬
  • js创建一个对象,里面有属性和方法
  • 代码实现死锁
  • 增值税纳税申报表附列资料(一)
  • 营转非的政策
  • 广东省地税局网上办税
  • 广东发票勾选认证操作流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设