位置: IT常识 - 正文

卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷)

编辑:rootadmin
卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT

推荐整理分享卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:卷卷zoe,卷,卷,卷,全国汽车白菜价,超30家品牌最高降16万,卷卷卷卷卷,卷卷zoe,卷卷的是什么意思,卷卷的卷,卷卷的卷,卷卷的卷,内容如对您有帮助,希望把文章链接给更多的朋友!

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

昨天都被Meta的SAM模型刷屏了吧!但在其发布24h不到!

北京智源人工智能研究院联合浙大、北大发布SegGPT: Segmenting Everything In Context。让我们来一探究竟。

我们提出了SegGPT,这是一个通用模型,可以在上下文中分段任何东西。我们将各种分割任务统一到一个通用的上下文学习框架中,通过将它们转换为图像的相同格式来适应不同种类的分割数据。SegGPT的训练被公式化为一个具有随机颜色映射的上下文着色问题,目标是根据上下文完成不同的任务,而不是依赖于特定的颜色。训练后,SegGPT可以通过上下文推理在图像或视频中执行任意的分割任务,例如对象实例、杂项、零件、轮廓和文本。SegGPT在广泛的任务中进行评估,包括少量语义分割、视频对象分割、语义分割和全景分割。我们的结果表明,在领域内和领域外目标的分割方面,无论是质量还是数量,都具有强大的能力。

项目代码:https://github.com/baaivision/Painter

1.研究背景与动机:

传统的基于规则和基于图像特征的方法需要手动设计特征或规则,而深度学习方法通常需要大量标注数据来训练模型。此外,现有方法通常只能处理特定类型的分割任务,难以适应不同类型的数据。因此,本文旨在提出一种通用的图像分割模型,可以自动适应不同类型的数据,并且无需大量标注数据即可进行训练。同时,本文还希望通过使用自然语言处理技术来解决图像分割任务中存在的挑战,并提高模型性能。

2.贡献

本文的主要贡献如下:

提出了一种通用的图像分割模型SegGPT,它使用基于自然语言处理的生成式预训练模型GPT-3,并将其应用于图像分割任务中。SegGPT模型采用上下文学习框架来统一各种分割任务,并使用随机颜色映射来训练模型。

卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷)

引入了上下文集成策略和In-Context Tuning方法来提高模型性能。上下文集成策略利用多个上下文信息来增强模型的表征能力,而In-Context Tuning方法则通过微调预训练模型来适应特定任务。

对SegGPT进行了广泛评估,使用多个数据集进行实验,包括ADE20K、COCO-Stuff、PASCAL VOC 2012、Cityscapes等。实验结果表明,SegGPT在各种分割任务上都取得了优秀的性能,并且在少样本学习和视频对象分割等任务上表现出色。

3.方法3.1 In-Context Coloring

In-Context Coloring是SegGPT模型中的一种方法,用于训练模型以执行多种分割任务。传统的Painter框架中,每个任务的颜色空间都是预定义的,这导致解决方案崩溃成为多任务学习。例如,在语义分割中,一组颜色被预定义,并且每个语义类别被分配一个固定的颜色。同样,在实例分割中,实例对象的颜色根据其位置类别进行分配,即颜色数量等于空间位置数量,从而导致模型崩溃。为了解决这个问题,SegGPT使用In-Context Coloring方法来训练模型。该方法使用随机颜色映射来完成不同的任务,并强制模型参考上下文信息来完成指定任务,而不是依赖特定的颜色。

3.3 Context Ensemble

Context Ensemble是本文提出的一种上下文集成策略,旨在利用多个上下文信息来增强模型的表征能力。具体而言,Context Ensemble包括两个部分:空间集成和特征集成。空间集成通过将不同尺度的特征图进行融合来捕捉不同尺度的上下文信息。特征集成则通过将不同层次的特征进行融合来捕捉不同层次的上下文信息。这两种集成方法可以相互结合,以进一步提高模型性能。在实验中,本文使用了ADE20K数据集进行评估,并比较了使用Context Ensemble和不使用Context Ensemble两种方法的性能差异。实验结果表明,使用Context Ensemble可以显著提高模型性能,在各种分割任务上都取得了优秀的结果。因此,Context Ensemble是一种有效的上下文集成策略,可以帮助模型更好地利用上下文信息,并提高图像分割任务的性能。

3.3 In-Context Tuning

In-Context Tuning是SegGPT模型中的一种方法,用于调整模型以适应特定的任务或数据集。该方法使用可学习的提示来指示不同的任务,并且可以方便地作为专家模型,在不更新模型参数的情况下通过调整特定提示来适应特定用例。具体而言,该方法将任务提示定义为可学习张量,冻结整个模型,然后使用相同的训练损失来优化任务提示。本文在挑战性的ADE20K语义分割和COCO全景分割数据集上进行了In-Context Tuning实验,并证明了该方法对于提高SegGPT模型性能的重要性。

4.Experiment

在Experiment部分,本文介绍了对SegGPT模型的广泛评估。具体而言,本文使用了多个数据集进行实验,包括ADE20K、COCO-Stuff、PASCAL VOC 2012、Cityscapes等。实验结果表明,SegGPT在各种分割任务上都取得了优秀的性能,并且在少样本学习和视频对象分割等任务上表现出色。此外,本文还比较了SegGPT和其他先进方法的性能,并证明了SegGPT的优越性。

4.1 One-Shot Training Details

本文使用了一种名为Vision Transformer (ViT-L) encoder的编码器,并使用了一个预训练模型作为初始权重。然后,将多个数据集混合在一起进行训练,以使模型能够适应不同类型的数据。在测试时,只需要对模型进行微调即可适应特定任务。 本文还提到了一些具体的实现细节,如使用随机颜色映射来训练模型、使用多尺度输入图像来增强模型的鲁棒性等。实验结果表明,One-Shot Training Details方法可以有效地提高模型性能,在各种分割任务上都取得了优秀的结果。因此,One-Shot Training Details是一种有效的训练方法,可以帮助模型更好地适应不同类型的数据,并提高图像分割任务的性能。

4.1 Qualitative Results

本文使用了一些特定的任务提示来对选定的图像进行分割,并将结果可视化展示出来。这些任务提示包括任意部分/对象分割、文本分割、视频对象分割等。此外,本文还使用了YouTube-VOS 2018数据集进行视频对象分割实验,并将结果可视化展示出来。通过这些可视化结果,可以看出SegGPT模型在各种分割任务上都取得了优秀的性能,并且具有很高的灵活性和适应性。因此,Qualitative Results是一种有效的实验结果展示方式,可以帮助读者更好地理解SegGPT模型在图像分割任务中的表现。

4.3 Comparison with Specialist Methods

本文使用了两个few-shot semantic segmentation数据集进行评估,并将SegGPT模型与一些专业方法进行了比较。实验结果表明,SegGPT模型在这两个数据集上都取得了优秀的性能,并且在某些任务上甚至超越了一些专业方法。为了更好地比较不同方法之间的性能差异,本文还使用了一些评价指标,如mIoU、F1-score等。实验结果表明,在大多数情况下,SegGPT模型都可以达到或超过其他专业方法的性能水平。此外,本文还对不同方法之间的计算复杂度进行了比较,并发现SegGPT模型具有更低的计算复杂度和更高的效率。

4.4 Ablation Study

本文分别消融了空间集成和特征集成两种策略,并对实验结果进行了比较。实验结果表明,这两种上下文集成策略都对模型的性能有着重要的影响。在空间集成方面,本文发现将不同位置的特征进行平均池化可以有效地提高模型的性能。在特征集成方面,本文发现将不同层次的特征进行拼接可以有效地提高模型的性能。此外,本文还对不同消融组合进行了比较,并发现将这两种策略同时应用可以取得最好的效果。

5.Conclusion

在这项工作中,我们提出了一种通用的分割模型,展示了如何设计适当的训练策略,充分利用上下文视觉学习的灵活性。我们的模型表现出了处理领域内外分割任务的强大能力,包括对象实例、物体、部分、轮廓、文本分割等。然而,我们的工作也存在缺点。虽然我们的工作引入了一种新的随机着色机制,以提高上下文训练的泛化能力,但也使得训练任务本质上更加困难,这可能是在具有丰富训练数据的领域内任务中表现较差的原因,例如ADE20K上的语义分割和COCO上的全景分割。展望未来,我们认为我们的方法有潜力成为在图像/视频分割中实现更多样化应用的强大工具,通过利用任务定义中的灵活性进行上下文推断。扩大模型规模是我们计划追求的一条途径,以进一步提高性能。更大的模型可以捕捉到数据中更复杂的模式,这可能会导致更好的分割结果。但这也带来了寻找更多数据的挑战。一个潜在的解决方案是探索自监督学习技术。我们希望我们的研究能够激发社区继续探索上下文学习在计算机视觉中的潜力。我们仍然乐观地认为,视觉领域最好的GPT-3时刻还在未来。

本文链接地址:https://www.jiuchutong.com/zhishi/299404.html 转载请保留说明!

上一篇:Vue-watch 侦听对象属性(vue的watch监听props)

下一篇:〖大前端 - 基础入门三大核心之CSS篇㉔〗- 动画效果与实战小案例(大前端最新)

  • 淘宝学生认证在哪里(淘宝学生认证在哪里?淘宝怎么进行学生认证)

    淘宝学生认证在哪里(淘宝学生认证在哪里?淘宝怎么进行学生认证)

  • 交换机接口类型(交换机端口类型access与trunk的区别)

    交换机接口类型(交换机端口类型access与trunk的区别)

  • 苹果X手机那个点怎么设置出来(苹果x哪款手机性价比高)

    苹果X手机那个点怎么设置出来(苹果x哪款手机性价比高)

  • 抖音直播卖货平台抽成一般多少(抖音直播卖货平台怎么抽成啊)

    抖音直播卖货平台抽成一般多少(抖音直播卖货平台怎么抽成啊)

  • 荣耀10录屏功能在哪里(荣耀10录屏功能怎么开启)

    荣耀10录屏功能在哪里(荣耀10录屏功能怎么开启)

  • PPT怎么整页加边框呢?(ppt怎么整页加边框)

    PPT怎么整页加边框呢?(ppt怎么整页加边框)

  • 联想电脑进入安全模式是按哪个键(联想电脑进入安全模式)

    联想电脑进入安全模式是按哪个键(联想电脑进入安全模式)

  • 淘宝卖家手机版是什么软件(淘宝卖家手机版下载)

    淘宝卖家手机版是什么软件(淘宝卖家手机版下载)

  • 微信红包怎么默认零钱通支付(微信红包怎么默认零钱支付,不用卡)

    微信红包怎么默认零钱通支付(微信红包怎么默认零钱支付,不用卡)

  • 怎么电话拉黑了还可以收到信息(怎么电话拉黑了还能打进来)

    怎么电话拉黑了还可以收到信息(怎么电话拉黑了还能打进来)

  • R7与i7处理器区别(r7处理器和i7处理器哪个好)

    R7与i7处理器区别(r7处理器和i7处理器哪个好)

  • 话费不交会一直扣吗(话费不交会一直欠款?)

    话费不交会一直扣吗(话费不交会一直欠款?)

  • nova7刷新率多少(华为novo7刷新率)

    nova7刷新率多少(华为novo7刷新率)

  • oppoa9屏幕尺寸(oppoa9屏幕尺寸多大)

    oppoa9屏幕尺寸(oppoa9屏幕尺寸多大)

  • 华为电脑管家登录不了(华为电脑管家登录不了华为帐号)

    华为电脑管家登录不了(华为电脑管家登录不了华为帐号)

  • 微信视频只有震动没有声音怎么办(微信视频只有震动怎么回事)

    微信视频只有震动没有声音怎么办(微信视频只有震动怎么回事)

  • 开飞行模式能收到短信吗(开飞行模式能收到验证码吗)

    开飞行模式能收到短信吗(开飞行模式能收到验证码吗)

  • 百度地图电脑如何截图(电脑百度地图怎么调转方向)

    百度地图电脑如何截图(电脑百度地图怎么调转方向)

  • 小米8青春版有没有快充(小米8青春版有没有红外线功能)

    小米8青春版有没有快充(小米8青春版有没有红外线功能)

  • 苹果6s屏幕尺寸大小(苹果6s屏幕尺寸多少)

    苹果6s屏幕尺寸大小(苹果6s屏幕尺寸多少)

  • 微信爱心怎么打出来(微信爱心怎么打字打出心形)

    微信爱心怎么打出来(微信爱心怎么打字打出心形)

  • 手机ca证书怎么删除(手机ca证书怎么申请流程)

    手机ca证书怎么删除(手机ca证书怎么申请流程)

  • 盘点一下,人工智能顶刊顶会有哪些?(搜索人工制造)

    盘点一下,人工智能顶刊顶会有哪些?(搜索人工制造)

  • 我在字节的这两年(字节在互联网什么地位)

    我在字节的这两年(字节在互联网什么地位)

  • 赠送客户样品怎么写文案
  • 税收滞纳金计入营业外支出的哪一项
  • 国税地税合并后叫什么名称
  • 合并报表编制流程的准备工作
  • 合并报表的抵消分录要做账吗
  • 公司委托收款该怎么办
  • 建筑行业机械租赁费计入什么科目
  • 公司租房子出去物业费可以代付吗
  • 哪些税不适用征管法
  • 停工损失会计科目
  • 地方教育费附加计入什么科目
  • 税务局查账一般需要几天
  • 免税企业取得增值税专用发票怎么处理
  • 民办非企业单位设立分机构
  • 办公用品增值税专用发票税点
  • 3%小规模纳税人开出的发票 农产品成本如何计算
  • 收到保险公司退款
  • 上月预付款项 这月开了发票会计分录
  • 无票收入负数怎么报增值税
  • 虚拟股权分红怎么做账
  • window1020h2更新问题
  • win10更新windows
  • 委外加工费用会计分录
  • 借条复印件可以起诉吗还有转账记录
  • Win7系统中如何快速查询文件内容
  • bios设置内存频率后黑屏
  • ahqinit.exe是什么进程 ahqinit是安全的进程吗
  • 发票管理的基础环节
  • php标识符
  • 海月水母有性别吗
  • php pathinfo
  • 红字发票怎么填申报表表二
  • centos安装php环境
  • 视同销售的行为
  • 地方各项基金费(工会经费)可以不申报吗
  • 好用的5款国产手机推荐
  • 企业发生的利得或损失应计入企业的营业外收支
  • php中命名空间的路径
  • 应收账款周转天数减少说明什么
  • 开会旅游的费用怎么算
  • 融资租赁视同销售吗
  • 出资比例为0
  • 营销策划协议
  • 个人所得税专项扣除新标准一览表最新
  • 企业如何采购
  • 工程施工与工程结算账务处理
  • 固定资产减值损失影响营业利润吗
  • 借款费用为什么可以企业所得税税前扣除
  • 商誉是成本法还是收入法
  • 购买原材料的支出
  • 房产税应纳税额计算例题
  • 长期股权投资稀释股权
  • 支付金额与实付金额不一致
  • 结转利润分配的二级明细账户
  • 购置办公大楼,会计处理
  • 企业单位为职工发放哪些福利
  • 企业如何开户流程
  • 专用发票给客户的都要盖章吗
  • 银行日记账年底是0第二年年初怎么写
  • 商业企业的期间费用包括
  • sql server数据库监控
  • 0x80070718配额不足
  • windows7开机
  • win7系统如何调节电脑屏幕亮度
  • linux文件latin1转换为utf
  • 怎么更改window
  • Win7旗舰版系统镜像文件
  • dos批处理命令大全
  • nodejs的express框架详解
  • 人应该掌握的基本知识
  • jquery-easyui-1.3.3
  • 安卓端数据库
  • 基于android的简单程序
  • javascript模拟器
  • android获取meid
  • 岗位回避什么意思
  • 收购烟叶多少公斤违法
  • 免教育费附加会计分录
  • 开票金额有限额吗
  • 江苏省国税客服电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设