位置: IT常识 - 正文

Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github)

编辑:rootadmin
Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践

推荐整理分享Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:segment anything model配置,segment anything model,segment anything model官网,segment anything model官网,segment anything model模型 需要的配置,segment anything model模型 需要的配置,segment anything model官网,segment anything model,内容如对您有帮助,希望把文章链接给更多的朋友!

不得不说,最近的AI技术圈很火热,前面的风头大都是chatGPT的,自从前提Meta发布了可以分割一切的CV大模型之后,CV圈也热起来了,昨天只是初步了解了一下SAM,然后写了一篇基础介绍说明的博客,早上一大早起来已经有2k左右的阅读量了。

 我果断跑去官方项目地址看下:

 好恐怖的增长速度,昨天写博客的时候也不到6k,今天一早已经翻一倍,估计随着这波宣传推广后,会迎来更加恐怖的增长,说明大家对他还是满怀期待的。

今天主要是下载了官方的源码,想要自己实践使用一下预测提示输入这样的效果。

在官方的介绍中可以看到:

 可以有两种使用当时,这里我先实践使用的是第一种的方式,我使用的测试图片也是官方源码附带的,如下:

 这里可以下载三款模型,如下:

 这里我遵从官方的指导,使用默认的H系列的模型也就是sam_vit_h_4b8939.pth

显示原图,如下:

image = cv2.imread('truck.jpg')image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)plt.figure(figsize=(10,10))plt.imshow(image)plt.axis('on')plt.show()

结果如下:

 接下来可以加载所需要的模型权重,如下:

predictor = SamPredictor(build_sam(checkpoint="weights/sam_vit_h_4b8939.pth"))

SAM预测对象掩码,给出预测所需对象的提示。该模型首先将图像转换为图像嵌入,该图像嵌入允许从提示有效地生成高质量的掩模。SamPredictor类为模型提供了一个简单的接口,用于提示模型。它允许用户首先使用set_image方法设置图像,该方法计算必要的图像嵌入。然后,可以通过预测方法提供提示,以根据这些提示有效地预测掩码。该模型可以将点提示和框提示以及上一次预测迭代中的掩码作为输入。

之后可以使用set_image喂入自己的图像数据,如下:

predictor.set_image(one_img)masks, scores, logits = predictor.predict( point_coords=input_point, point_labels=input_label, multimask_output=True,)print("masks.shape: ", masks.shape)

运行输出如下所示:

masks.shape: (3, 1200, 1800)

这是打印出来的掩码的size,我们接下来直观地展示出来掩码的效果:

 图像中我加入了一片绿叶,用来标记自己加入的提示信息,这样更为明显一些

可以看到:一个点的标记提示,SAM分割出来了三种结果,最后一种是我们所需要的整车的分割,但是前面两种也是正确的,只是说是做的车窗的分割,那么如何能让SAM更加有效理解我们的实际意图呢?

安装官方的说法是可以加入多提示,在这里这个例子的话我们就可以再加入别的点就行,如下:

我额外标记了一点,“误导”模型,如下:

 红色的小花我标记为不属于车身,模型最终分割的效果就是只有车窗了。

接下来,我将其标记改为属于目标对象,效果如下:

Segment Anything Model (SAM)——分割一切,具有预测提示输入的图像分割实践(segment anything model github)

 可以看到:这次模型只返回了一个结果,而且是我们自己想要的结果。

当然了,如果已经亲身体验过官方开源的Demo网站的话,应该就知道官方也提供了可以画Box指定区域实现分割,这里也是可以的。

 接下来来看实践代码,如下:

predictor.set_image(one_img)input_box = np.array([425, 600, 700, 875])masks, _, _ = predictor.predict( point_coords=None, point_labels=None, box=input_box[None, :], multimask_output=False,)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)show_mask(masks[0], plt.gca())show_box(input_box, plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下:

 还是很不错的。

我这里之所以直接使用源码内置的数据,主要就是不想再麻烦去自己标注这些点或者是画框,本来就是为了演示实践功能的。

到此为止是不是觉得也就这样的,其实还有,单独提示输入点或者框都是可以完美分割的,那么同时输入点和框呢?答案是肯定也可以,官方的Demo已经证实了,如下:

 接下来就是看如何用代码实现了,如下:

#点+框分割predictor.set_image(one_img)masks, _, _ = predictor.predict( point_coords=input_point, point_labels=input_label, box=input_box, multimask_output=False,)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)show_mask(masks[0], plt.gca())show_box(input_box, plt.gca())show_points(input_point, input_label, plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下所示:

 因为标注了红色小花为北京区域,这里SAM直接分割出来的就是轮胎轮廓了,而不是整体了还是很不错的了。

点+框的组合都可以,那么如果想批量输入提示信息是否也是可以的呢?答案也是可以的,这里我们就看代码如何实现:

predictor.set_image(one_img)input_box = np.array([425, 600, 700, 875])transformed_boxes = predictor.transform.apply_boxes_torch(input_boxes, one_img.shape[:2])masks, _, _ = predictor.predict_torch( point_coords=None, point_labels=None, boxes=transformed_boxes, multimask_output=False,)print("masks_shape: ", masks.shape)plt.clf()plt.figure(figsize=(20, 10))plt.subplot(121)plt.imshow(one_img)plt.title("originalImage")plt.subplot(122)plt.imshow(one_img)for mask in masks: show_mask(mask.cpu().numpy(), plt.gca(), random_color=True)for box in input_boxes: show_box(box.cpu().numpy(), plt.gca())plt.axis('off')plt.title("segmentImage")plt.show()

效果如下所示:

 官方同样实现了更加高效简洁的端到端推理方式,如果所有提示都提前可用,则可以以端到端的方式直接运行SAM。这也允许对图像进行批处理。

图像和提示都作为PyTorch张量输入,这些张量已经转换为正确的帧。输入被打包为图像上的列表,每个元素都是一个dict,它采用以下键:

image:以CHW格式作为PyTorch张量的输入图像。

original_size:转换为SAM输入之前的图像大小,格式为(H,W)。

point_coords:点提示的批量坐标。

point_labels:点提示的批处理标签。

boxes:批量输入框。

mask_inputs:批量输入掩码。

如果没有提示,则可以排除该键。

输出是每个输入图像的结果列表,其中列表元素是具有以下键的字典: 掩码:预测的二进制掩码的批量火炬张量,即原始图像的大小。 iou_predictions:模型对每个遮罩的质量的预测。 low_res_logits:每个掩码的低分辨率logits,可以在以后的迭代中作为掩码输入传回模型。

代码实例如下:

image1 = image # truck.jpgimage1_boxes = torch.tensor([ [75, 275, 1725, 850], [425, 600, 700, 875], [1375, 550, 1650, 800], [1240, 675, 1400, 750],], device=device)image2 = cv2.imread('truck.jpg')image2 = cv2.cvtColor(image2, cv2.COLOR_BGR2RGB)image2_boxes = torch.tensor([ [450, 170, 520, 350], [350, 190, 450, 350], [500, 170, 580, 350], [580, 170, 640, 350],], device=device)from segment_anything.utils.transforms import ResizeLongestSideresize_transform = ResizeLongestSide(sam.image_encoder.img_size)batched_input = [ { 'image': prepare_image(image1, resize_transform, sam), 'boxes': resize_transform.apply_boxes_torch(image1_boxes, image1.shape[:2]), 'original_size': image1.shape[:2] }, { 'image': prepare_image(image2, resize_transform, sam), 'boxes': resize_transform.apply_boxes_torch(image2_boxes, image2.shape[:2]), 'original_size': image2.shape[:2] }]batched_output = sam(batched_input, multimask_output=False)print(batched_output[0].keys())fig, ax = plt.subplots(1, 2, figsize=(20, 20))ax[0].imshow(image1)for mask in batched_output[0]['masks']: show_mask(mask.cpu().numpy(), ax[0], random_color=True)for box in image1_boxes: show_box(box.cpu().numpy(), ax[0])ax[0].axis('off')ax[1].imshow(image2)for mask in batched_output[1]['masks']: show_mask(mask.cpu().numpy(), ax[1], random_color=True)for box in image2_boxes: show_box(box.cpu().numpy(), ax[1])ax[1].axis('off')plt.tight_layout()plt.show()

结果如下:

 花了基本上一早上把预测提示输入的实践走了一遍感觉还是可圈可点的,后面再继续研究吧。

本文链接地址:https://www.jiuchutong.com/zhishi/295381.html 转载请保留说明!

上一篇:React--》useReducer的讲解与使用(react reducer详解)

下一篇:利用Python实现酒店评论的中文情感分析,含数据集(用python编写)

  • 自行研发的无形资产不确认递延所得税
  • 回购股票不注销没有意义
  • 交强险必须交车船使用税吗
  • 经营范围没广告怎么办
  • 全年交多少税可以退
  • 小企业今年怎么过
  • 个体户一季度不超过30
  • 一般纳税人增值税优惠政策
  • 成立日期是注册日期吗
  • 员工全额承担社保账务怎么做?
  • 独资企业要交税吗
  • 企业接受捐赠的账务处理
  • 应付账款借方余额在资产负债表中怎么列示
  • 营改增对建筑业的影响有哪些
  • 红冲的普票要给对方单位吗
  • 投资公司的利息支出可抵扣吗
  • 有2处收入要交个税,自己如何去交个税
  • 增资印花税增加哪个税目
  • 0申报逾期罚款
  • 物业公司代收水费亏损谁承担
  • 小规模专票普票区别
  • 支付工程款时有哪些费用
  • 公司法人借款给公司怎么取出来
  • 关于工程施工的文章
  • 如何禁用Windows10更新
  • 收入确认和成本的关系
  • 无u刷bios一直闪
  • php详细教程
  • vue播放rtsp视频流
  • 提高stable diffusion速度
  • 收到的税费返还减少说明什么
  • php读取txt文件内容
  • 应收票据确认坏账怎么处理
  • 工会经费计提的会计分录
  • 持续经营利润是什么意思
  • dedecmsv6插件不能用
  • 展会补贴需要准备什么资料
  • 暂估入账后续处理
  • 一次性伤残补助金怎么计算
  • 盈利能力还有什么能力
  • 定期定额自行申报表
  • 画完图不给钱怎么办
  • 酒店客房收入如何分配
  • 诉讼费可以退回私账嘛
  • 稳岗补贴操作流程
  • 其他综合收益核算的内容及会计处理
  • 营业外收入的账户核算有哪些
  • 生产性服务企业税率
  • 合理损耗怎么算
  • 增值税发票折扣发票
  • 弱电系统可以入户门吗
  • 固定资产减值损失怎么算
  • mysql数据库优化面试题
  • mysql 5.7.17 64bit安装配置方法图文教程
  • win7怎么创建新用户
  • mac系统操作的小技巧
  • 苹果电脑重新安装macos失败
  • linux操作系统常用操作命令
  • win80x0000007b修复
  • win10增加右键菜单
  • win10系统局域网共享打印机设置
  • centos7版本推荐
  • linux wc-w
  • win7如何设置多用户
  • win10禁止显卡驱动自动安装
  • cocoscreator场景切换
  • cocos2d环境配置
  • unity协程yield
  • unity3drpg游戏教程
  • openglvbo
  • 菜鸟app兼职
  • ftp自动上传脚本怎么用
  • 如何获得select选中的值
  • 启动游戏使用的文件夹什么意思
  • html中meta
  • 应税消费品通过什么科目核算
  • 上海自贸试验区临港新片区
  • 河北云办税厅2.0登录
  • 免抵退税办法不得抵扣的进项
  • 2020年国税和地税怎么申报
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设