位置: IT常识 - 正文

【图像分割】Meta分割一切(SAM)模型环境配置和使用教程(图像分割最新算法)

编辑:rootadmin
【图像分割】Meta分割一切(SAM)模型环境配置和使用教程

推荐整理分享【图像分割】Meta分割一切(SAM)模型环境配置和使用教程(图像分割最新算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:图像分割ncut,图像分割csdn,图像分割unet,图像分割实现,图像分割实现,图像分割otsu,图像分割otsu,图像分割miou,内容如对您有帮助,希望把文章链接给更多的朋友!

注意:python>=3.8, pytorch>=1.7,torchvision>=0.8

Feel free to ask any question. 遇到问题欢迎评论区讨论.

官方教程:

https://github.com/facebookresearch/segment-anything1 环境配置1.1 安装主要库:

(1)pip:

有可能出现错误,需要配置好Git。

pip install git+https://github.com/facebookresearch/segment-anything.git

(2)本地安装:

有可能出现错误,需要配置好Git。

git clone git@github.com:facebookresearch/segment-anything.gitcd segment-anything; pip install -e .

(3)手动下载+手动本地安装:

 zip文件:

链接:https://pan.baidu.com/s/1dQ--kTTJab5eloKm6nMYrg提取码:1234

解压后运行: 

cd segment-anything-mainpip install -e .1.2 安装依赖库:pip install opencv-python pycocotools matplotlib onnxruntime onnx

matplotlib 3.7.1和3.7.0可能报错

如果报错:pip install matplotlib==3.6.2

1.3 下载权重文件:

下载三个权重文件中的一个,我用的第一个。

default or vit_h: ViT-H SAM model.vit_l: ViT-L SAM model.vit_b: ViT-B SAM model.

 如果下载过慢:

链接:https://pan.baidu.com/s/11wZUcjYWNL6kxOH5MFGB-g 提取码:1234 2 使用教程2.1 根据在图片上选择的点扣出物体【图像分割】Meta分割一切(SAM)模型环境配置和使用教程(图像分割最新算法)

原始图像:

 导入依赖库和展示相关的函数:

import cv2import matplotlib.pyplot as pltimport numpy as npfrom segment_anything import sam_model_registry, SamPredictordef show_mask(mask, ax, random_color=False): if random_color: color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0) else: color = np.array([30 / 255, 144 / 255, 255 / 255, 0.6]) h, w = mask.shape[-2:] mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1) ax.imshow(mask_image)def show_points(coords, labels, ax, marker_size=375): pos_points = coords[labels == 1] neg_points = coords[labels == 0] ax.scatter(pos_points[:, 0], pos_points[:, 1], color='green', marker='*', s=marker_size, edgecolor='white', linewidth=1.25) ax.scatter(neg_points[:, 0], neg_points[:, 1], color='red', marker='*', s=marker_size, edgecolor='white', linewidth=1.25)

确定使用的权重文件位置和是否使用cuda等:

sam_checkpoint = "F:\sam_vit_h_4b8939.pth"device = "cuda"model_type = "default"

模型实例化:

sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)sam.to(device=device)predictor = SamPredictor(sam)

读取图像并选择抠图点:

image = cv2.imread(r"F:\Dataset\Tomato_Appearance\Tomato_Xishi\images\xs_1.jpg")image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)predictor.set_image(image)input_point = np.array([[1600, 1000]])input_label = np.array([1])plt.figure(figsize=(10,10))plt.imshow(image)show_points(input_point, input_label, plt.gca())plt.axis('on')plt.show()

 扣取图像(会同时提供多个扣取结果):

masks, scores, logits = predictor.predict( point_coords=input_point, point_labels=input_label, multimask_output=True,)# 遍历读取每个扣出的结果for i, (mask, score) in enumerate(zip(masks, scores)): plt.figure(figsize=(10,10)) plt.imshow(image) show_mask(mask, plt.gca()) show_points(input_point, input_label, plt.gca()) plt.title(f"Mask {i+1}, Score: {score:.3f}", fontsize=18) plt.axis('off') plt.show()

     

 尝试扣取其他位置:

 

2.2 扣取图像中的所有物体

官方教程:

https://github.com/facebookresearch/segment-anything/blob/main/notebooks/automatic_mask_generator_example.ipynb

依赖库和函数导入:

from segment_anything import sam_model_registry, SamAutomaticMaskGenerator, SamPredictorimport cv2import matplotlib.pyplot as pltimport numpy as npdef show_anns(anns): if len(anns) == 0: return sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True) ax = plt.gca() ax.set_autoscale_on(False) polygons = [] color = [] for ann in sorted_anns: m = ann['segmentation'] img = np.ones((m.shape[0], m.shape[1], 3)) color_mask = np.random.random((1, 3)).tolist()[0] for i in range(3): img[:,:,i] = color_mask[i] ax.imshow(np.dstack((img, m*0.35)))

读取图片:

image = cv2.imread(r"F:\Dataset\Tomato_Appearance\Tomato_Xishi\images\xs_1.jpg")image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

实例化模型:

sam_checkpoint = "F:\sam_vit_h_4b8939.pth"model_type = "default"device = "cuda"sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)sam.to(device=device)

 分割并展示(速度有点慢):

mask_generator = SamAutomaticMaskGenerator(sam)masks = mask_generator.generate(image)plt.figure(figsize=(20,20))plt.imshow(image)show_anns(masks)plt.axis('off')plt.show()

2.3 根据文字扣取物体

配置另外一个库:

https://github.com/IDEA-Research/Grounded-Segment-Anything

后续更新细节

本文链接地址:https://www.jiuchutong.com/zhishi/288855.html 转载请保留说明!

上一篇:【Java基础】一个Java文件可以有多个类(外部类、内部类)(java基础教程)

下一篇:被翡翠湾环绕的芬尼特岛,太浩湖,加利福尼亚 (© Rachid Dahnoun/Tandem Stills + Motion)(翡翠湾攻略)

  • 苹果13promax怎么关闭横屏(苹果13promax怎么关机)

    苹果13promax怎么关闭横屏(苹果13promax怎么关机)

  • 小爱同学怎么重新连接无线网(小爱同学怎么重置)

    小爱同学怎么重新连接无线网(小爱同学怎么重置)

  • 小雅怎么当蓝牙音箱(小雅怎么打开蓝牙)

    小雅怎么当蓝牙音箱(小雅怎么打开蓝牙)

  • pon连接成功,但internet连接未连接,是什么情况(PON连接成功,但INTERNET连接未连接,请联系客户经理)

    pon连接成功,但internet连接未连接,是什么情况(PON连接成功,但INTERNET连接未连接,请联系客户经理)

  • 手机出现小程序调试信息怎么回事(手机出现小程序图标)

    手机出现小程序调试信息怎么回事(手机出现小程序图标)

  • 6s勿扰模式闹钟会响吗(苹果6勿扰模式闹钟响吗)

    6s勿扰模式闹钟会响吗(苹果6勿扰模式闹钟响吗)

  • 苹果7p怎么设置来电铃声(苹果7P怎么设置微信密码锁屏)

    苹果7p怎么设置来电铃声(苹果7P怎么设置微信密码锁屏)

  • iphone进网许可很重要吗(苹果手机进网许可)

    iphone进网许可很重要吗(苹果手机进网许可)

  • 没开自动手机屏幕自动变暗(没开自动手机屏幕变暗)

    没开自动手机屏幕自动变暗(没开自动手机屏幕变暗)

  • 抖音注销后公会还在么(抖音公会怎么申请)

    抖音注销后公会还在么(抖音公会怎么申请)

  • 来电号码显示未知是什么意思(来电号码显示未知号码并且无法回拨)

    来电号码显示未知是什么意思(来电号码显示未知号码并且无法回拨)

  • 为什么抖音有的显示在线有的不显示(为什么抖音有的视频不能保存至相册)

    为什么抖音有的显示在线有的不显示(为什么抖音有的视频不能保存至相册)

  • 抖音怎么开启同城定位(抖音怎么开启同城直播)

    抖音怎么开启同城定位(抖音怎么开启同城直播)

  • 惠普打印机2130和2132区别(惠普打印机2130可以连接手机吗)

    惠普打印机2130和2132区别(惠普打印机2130可以连接手机吗)

  • 苹果手机降系统对手机有影响吗(苹果手机降系统怎么降用手机)

    苹果手机降系统对手机有影响吗(苹果手机降系统怎么降用手机)

  • 芒果tv买了vip能退款吗(芒果tv会员可以)

    芒果tv买了vip能退款吗(芒果tv会员可以)

  • 微博怎么看好友在线(微博怎么看好友的点赞)

    微博怎么看好友在线(微博怎么看好友的点赞)

  • wps文字为什么不能顶格(wps文字为什么不能朗读了)

    wps文字为什么不能顶格(wps文字为什么不能朗读了)

  • 如何激活Windows 11正式版?Win11正式版激活序列号KE大全(如何激活windows11专业版?)

    如何激活Windows 11正式版?Win11正式版激活序列号KE大全(如何激活windows11专业版?)

  • 正在巨石间走扁带的人,加利福尼亚毕晓普 (© Evgeny Vasenev/Aurora Photos)(出现巨石)

    正在巨石间走扁带的人,加利福尼亚毕晓普 (© Evgeny Vasenev/Aurora Photos)(出现巨石)

  • 取得的免税发票怎么开
  • 税负率的计算公式举例说明
  • 车辆购置税完税证明是什么
  • 公司开普票和专票哪个好
  • 个人独资企业生产经营所得汇算清缴时间
  • 隔年的发票能冲销吗
  • 收据盖公章要注意哪些
  • 工会账户谁来管理
  • 飞机票退票费如何处理账务
  • 小规模纳税人增值税税率
  • 加计扣除是什么意思举例说明农产品
  • 牛奶公司饲养奶牛生产牛奶
  • 购买法下的操纵手法有哪些
  • 短期负债包括哪些债务
  • 专门从事研发的企业研发费用可以加计扣除吗
  • 跨年度销售退回所得税
  • 生产经营活动包括建设项目吗
  • 生产企业出口发票数量开错有什么影响
  • 所得税费用一年交几次
  • 小规模纳税人注销需要查账吗
  • 暂估原材料已领用还红冲吗
  • 哪些税费不适用征管法?
  • 注册中的商标转让
  • 公司发工资了
  • 应收账款无法收回确认为坏账分录
  • 小企业会计准则会计科目表
  • 有哪些分享方式
  • win10如何给文件夹上锁
  • 笔记本显示器分辨率无法调整怎么办
  • 工程结算
  • 自由职业者如何交五险一金
  • php 实例
  • 预算周转金会计怎么做账
  • 转让应收账款是否交税
  • 专利权出资会计科目
  • 微信小程序做ppt
  • 来料加工 增值税
  • vuejs echarts
  • 用友t6模块
  • 研发支出是资产类会计科目吗
  • 企业所得税的征税对象包括( )
  • 你必须了解的最大的问题
  • Python函数怎么返回
  • 出租车公共服务
  • 计提持有至到期债券投资的利息
  • Mysql中 show table status 获取表信息的方法
  • 退回股东投资款现金流怎么选
  • sqlserver重复数据
  • 如何填制费用报销单
  • 安全生产费用应当专户储存专款专用专户核算
  • 房地产老项目简易计税开专票
  • 预计负债是暂时性差异还是永久性差异
  • 进口增值税已付什么意思
  • 支付平台费率
  • 小规模纳税人本期应纳税额
  • 预付卡开不征税发票
  • 购入商品货款尚未支付
  • 对公账户明细入账怎么查
  • 广告宣传费纳税调整额怎么算
  • 企业如何建账做账
  • freebsd联网
  • 添加到右键快捷方式
  • win8系统如何查看电脑内存
  • linux命令pwd是什么意思
  • 电脑xp自带的杀毒软件在哪里
  • 电脑pc的操作系统叫什么
  • windows wps
  • windows 10 build 21354
  • ubuntu搭建ftp服务器的步骤
  • OpenGL Framebuffer Object (FBO)
  • jquery获取document对象
  • 泛型类泛型接口泛型方法
  • label jsp
  • Linuxshell脚本实现自动化软件部署内容
  • python灰度变换
  • jquery-easyui-1.3.3
  • jquery设置图片大小
  • 一般纳税人申请资格条件
  • 申请ipo申请到审批要多久
  • 党建税收宣传
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设