位置: IT常识 - 正文

卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷)

编辑:rootadmin
卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT

推荐整理分享卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:卷卷zoe,卷,卷,卷,全国汽车白菜价,超30家品牌最高降16万,卷卷卷卷卷,卷卷zoe,卷卷的是什么意思,卷卷的卷,卷卷的卷,卷卷的卷,内容如对您有帮助,希望把文章链接给更多的朋友!

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

昨天都被Meta的SAM模型刷屏了吧!但在其发布24h不到!

北京智源人工智能研究院联合浙大、北大发布SegGPT: Segmenting Everything In Context。让我们来一探究竟。

我们提出了SegGPT,这是一个通用模型,可以在上下文中分段任何东西。我们将各种分割任务统一到一个通用的上下文学习框架中,通过将它们转换为图像的相同格式来适应不同种类的分割数据。SegGPT的训练被公式化为一个具有随机颜色映射的上下文着色问题,目标是根据上下文完成不同的任务,而不是依赖于特定的颜色。训练后,SegGPT可以通过上下文推理在图像或视频中执行任意的分割任务,例如对象实例、杂项、零件、轮廓和文本。SegGPT在广泛的任务中进行评估,包括少量语义分割、视频对象分割、语义分割和全景分割。我们的结果表明,在领域内和领域外目标的分割方面,无论是质量还是数量,都具有强大的能力。

项目代码:https://github.com/baaivision/Painter

1.研究背景与动机:

传统的基于规则和基于图像特征的方法需要手动设计特征或规则,而深度学习方法通常需要大量标注数据来训练模型。此外,现有方法通常只能处理特定类型的分割任务,难以适应不同类型的数据。因此,本文旨在提出一种通用的图像分割模型,可以自动适应不同类型的数据,并且无需大量标注数据即可进行训练。同时,本文还希望通过使用自然语言处理技术来解决图像分割任务中存在的挑战,并提高模型性能。

2.贡献

本文的主要贡献如下:

提出了一种通用的图像分割模型SegGPT,它使用基于自然语言处理的生成式预训练模型GPT-3,并将其应用于图像分割任务中。SegGPT模型采用上下文学习框架来统一各种分割任务,并使用随机颜色映射来训练模型。

卷,卷,卷,SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT(卷卷卷卷卷)

引入了上下文集成策略和In-Context Tuning方法来提高模型性能。上下文集成策略利用多个上下文信息来增强模型的表征能力,而In-Context Tuning方法则通过微调预训练模型来适应特定任务。

对SegGPT进行了广泛评估,使用多个数据集进行实验,包括ADE20K、COCO-Stuff、PASCAL VOC 2012、Cityscapes等。实验结果表明,SegGPT在各种分割任务上都取得了优秀的性能,并且在少样本学习和视频对象分割等任务上表现出色。

3.方法3.1 In-Context Coloring

In-Context Coloring是SegGPT模型中的一种方法,用于训练模型以执行多种分割任务。传统的Painter框架中,每个任务的颜色空间都是预定义的,这导致解决方案崩溃成为多任务学习。例如,在语义分割中,一组颜色被预定义,并且每个语义类别被分配一个固定的颜色。同样,在实例分割中,实例对象的颜色根据其位置类别进行分配,即颜色数量等于空间位置数量,从而导致模型崩溃。为了解决这个问题,SegGPT使用In-Context Coloring方法来训练模型。该方法使用随机颜色映射来完成不同的任务,并强制模型参考上下文信息来完成指定任务,而不是依赖特定的颜色。

3.3 Context Ensemble

Context Ensemble是本文提出的一种上下文集成策略,旨在利用多个上下文信息来增强模型的表征能力。具体而言,Context Ensemble包括两个部分:空间集成和特征集成。空间集成通过将不同尺度的特征图进行融合来捕捉不同尺度的上下文信息。特征集成则通过将不同层次的特征进行融合来捕捉不同层次的上下文信息。这两种集成方法可以相互结合,以进一步提高模型性能。在实验中,本文使用了ADE20K数据集进行评估,并比较了使用Context Ensemble和不使用Context Ensemble两种方法的性能差异。实验结果表明,使用Context Ensemble可以显著提高模型性能,在各种分割任务上都取得了优秀的结果。因此,Context Ensemble是一种有效的上下文集成策略,可以帮助模型更好地利用上下文信息,并提高图像分割任务的性能。

3.3 In-Context Tuning

In-Context Tuning是SegGPT模型中的一种方法,用于调整模型以适应特定的任务或数据集。该方法使用可学习的提示来指示不同的任务,并且可以方便地作为专家模型,在不更新模型参数的情况下通过调整特定提示来适应特定用例。具体而言,该方法将任务提示定义为可学习张量,冻结整个模型,然后使用相同的训练损失来优化任务提示。本文在挑战性的ADE20K语义分割和COCO全景分割数据集上进行了In-Context Tuning实验,并证明了该方法对于提高SegGPT模型性能的重要性。

4.Experiment

在Experiment部分,本文介绍了对SegGPT模型的广泛评估。具体而言,本文使用了多个数据集进行实验,包括ADE20K、COCO-Stuff、PASCAL VOC 2012、Cityscapes等。实验结果表明,SegGPT在各种分割任务上都取得了优秀的性能,并且在少样本学习和视频对象分割等任务上表现出色。此外,本文还比较了SegGPT和其他先进方法的性能,并证明了SegGPT的优越性。

4.1 One-Shot Training Details

本文使用了一种名为Vision Transformer (ViT-L) encoder的编码器,并使用了一个预训练模型作为初始权重。然后,将多个数据集混合在一起进行训练,以使模型能够适应不同类型的数据。在测试时,只需要对模型进行微调即可适应特定任务。 本文还提到了一些具体的实现细节,如使用随机颜色映射来训练模型、使用多尺度输入图像来增强模型的鲁棒性等。实验结果表明,One-Shot Training Details方法可以有效地提高模型性能,在各种分割任务上都取得了优秀的结果。因此,One-Shot Training Details是一种有效的训练方法,可以帮助模型更好地适应不同类型的数据,并提高图像分割任务的性能。

4.1 Qualitative Results

本文使用了一些特定的任务提示来对选定的图像进行分割,并将结果可视化展示出来。这些任务提示包括任意部分/对象分割、文本分割、视频对象分割等。此外,本文还使用了YouTube-VOS 2018数据集进行视频对象分割实验,并将结果可视化展示出来。通过这些可视化结果,可以看出SegGPT模型在各种分割任务上都取得了优秀的性能,并且具有很高的灵活性和适应性。因此,Qualitative Results是一种有效的实验结果展示方式,可以帮助读者更好地理解SegGPT模型在图像分割任务中的表现。

4.3 Comparison with Specialist Methods

本文使用了两个few-shot semantic segmentation数据集进行评估,并将SegGPT模型与一些专业方法进行了比较。实验结果表明,SegGPT模型在这两个数据集上都取得了优秀的性能,并且在某些任务上甚至超越了一些专业方法。为了更好地比较不同方法之间的性能差异,本文还使用了一些评价指标,如mIoU、F1-score等。实验结果表明,在大多数情况下,SegGPT模型都可以达到或超过其他专业方法的性能水平。此外,本文还对不同方法之间的计算复杂度进行了比较,并发现SegGPT模型具有更低的计算复杂度和更高的效率。

4.4 Ablation Study

本文分别消融了空间集成和特征集成两种策略,并对实验结果进行了比较。实验结果表明,这两种上下文集成策略都对模型的性能有着重要的影响。在空间集成方面,本文发现将不同位置的特征进行平均池化可以有效地提高模型的性能。在特征集成方面,本文发现将不同层次的特征进行拼接可以有效地提高模型的性能。此外,本文还对不同消融组合进行了比较,并发现将这两种策略同时应用可以取得最好的效果。

5.Conclusion

在这项工作中,我们提出了一种通用的分割模型,展示了如何设计适当的训练策略,充分利用上下文视觉学习的灵活性。我们的模型表现出了处理领域内外分割任务的强大能力,包括对象实例、物体、部分、轮廓、文本分割等。然而,我们的工作也存在缺点。虽然我们的工作引入了一种新的随机着色机制,以提高上下文训练的泛化能力,但也使得训练任务本质上更加困难,这可能是在具有丰富训练数据的领域内任务中表现较差的原因,例如ADE20K上的语义分割和COCO上的全景分割。展望未来,我们认为我们的方法有潜力成为在图像/视频分割中实现更多样化应用的强大工具,通过利用任务定义中的灵活性进行上下文推断。扩大模型规模是我们计划追求的一条途径,以进一步提高性能。更大的模型可以捕捉到数据中更复杂的模式,这可能会导致更好的分割结果。但这也带来了寻找更多数据的挑战。一个潜在的解决方案是探索自监督学习技术。我们希望我们的研究能够激发社区继续探索上下文学习在计算机视觉中的潜力。我们仍然乐观地认为,视觉领域最好的GPT-3时刻还在未来。

本文链接地址:https://www.jiuchutong.com/zhishi/299404.html 转载请保留说明!

上一篇:Vue-watch 侦听对象属性(vue的watch监听props)

下一篇:〖大前端 - 基础入门三大核心之CSS篇㉔〗- 动画效果与实战小案例(大前端最新)

  • 爱奇艺和爱奇艺极速版会员通用吗(爱奇艺和爱奇艺体育会员通用吗)

    爱奇艺和爱奇艺极速版会员通用吗(爱奇艺和爱奇艺体育会员通用吗)

  • 荣耀手机怎么换自己喜欢铃声(荣耀手机怎么换锁屏壁纸自定义)

    荣耀手机怎么换自己喜欢铃声(荣耀手机怎么换锁屏壁纸自定义)

  • Redmi Note 9 Pro Max保留了3.5MM耳机孔吗

    Redmi Note 9 Pro Max保留了3.5MM耳机孔吗

  • 笔记本电脑不充电(笔记本电脑不充电能用多长时间)

    笔记本电脑不充电(笔记本电脑不充电能用多长时间)

  • 微型计算机最早出现于第几代计算机中(微型机最早出现在第几代计算机)

    微型计算机最早出现于第几代计算机中(微型机最早出现在第几代计算机)

  • 微信朋友圈打开显示一条白线(微信朋友圈打开的音乐怎么关闭)

    微信朋友圈打开显示一条白线(微信朋友圈打开的音乐怎么关闭)

  • 相机的对焦系统一般都会按照哪些规律来选择对焦点?(相机的对焦系统一般都会)

    相机的对焦系统一般都会按照哪些规律来选择对焦点?(相机的对焦系统一般都会)

  • 网易云附近的人没有了(网易云附近的人怎么关)

    网易云附近的人没有了(网易云附近的人怎么关)

  • 电脑双电源的危害(电脑双电源供电的接线方式)

    电脑双电源的危害(电脑双电源供电的接线方式)

  • 抖音短视频下载失败是什么原因(抖音短视频下载安装最新版2020)

    抖音短视频下载失败是什么原因(抖音短视频下载安装最新版2020)

  • wps阅读模式在哪里找(wps阅读模式在哪里设置)

    wps阅读模式在哪里找(wps阅读模式在哪里设置)

  • 微信声音打开了为什么来微信不响(微信声音打开了怎么视频还是没有提示音)

    微信声音打开了为什么来微信不响(微信声音打开了怎么视频还是没有提示音)

  • 华为荣耀20可以用两个微信吗(华为荣耀20可以无线充电吗)

    华为荣耀20可以用两个微信吗(华为荣耀20可以无线充电吗)

  • 固态硬盘突然无法识别(固态硬盘突然无法进入系统怎么办)

    固态硬盘突然无法识别(固态硬盘突然无法进入系统怎么办)

  • 苹果手机照片共享怎么关闭(苹果手机照片共享没有九宫格和双重曝光)

    苹果手机照片共享怎么关闭(苹果手机照片共享没有九宫格和双重曝光)

  • 软件出现闪退是什么原因(软件出现闪退问题)

    软件出现闪退是什么原因(软件出现闪退问题)

  • 数据库阶段的特点是什么(数据库有哪几个阶段)

    数据库阶段的特点是什么(数据库有哪几个阶段)

  • 美团怎么学生认证(美团怎么学生认证换人)

    美团怎么学生认证(美团怎么学生认证换人)

  • 微信退群别人能看到吗(微信退群别人能加我好友吗)

    微信退群别人能看到吗(微信退群别人能加我好友吗)

  • 快手怎么申请跟主播连麦(怎么才能和快手官方合作)

    快手怎么申请跟主播连麦(怎么才能和快手官方合作)

  • airpods怎么更新固件(AirPods怎么更新测试版固件)

    airpods怎么更新固件(AirPods怎么更新测试版固件)

  • 5gwifi和5g网络的区别(5gwifi跟5g网的区别)

    5gwifi和5g网络的区别(5gwifi跟5g网的区别)

  • wps循环引用警告怎么处理(wps循环引用警告怎么关)

    wps循环引用警告怎么处理(wps循环引用警告怎么关)

  • 办理出口退税时间要求
  • 租赁负债的计税基础
  • 业务招待费税前扣除标准是
  • 已经抵扣过的进项票对方红冲之后怎么做账报税
  • 以前年度成本多入了怎样调整
  • 商品卖亏的会计分录
  • 劳务发票未收到做账
  • 企业的耕地占用税怎么算
  • 进口产品增值税的组成计税价格
  • 社保基数调整补收是什么意思
  • 增值税普票收款人
  • 买二手车年限久的会怎样
  • 一般纳税人辅导期预缴
  • 免租要怎么交税
  • 简易计税方法适用范围
  • 关于土地增值税若干问题的通知
  • 房贷利息在哪里能看到
  • 资产总额季初和季末
  • 个独企业如何拿钱
  • 1697511215
  • 其他权益工具投资公允价值变动怎么计算
  • 销售费用占收入比例叫什么
  • 批量获取文件信息
  • 残保金必须交社保才能领吗
  • win10提示病毒
  • 房地产公司股权收购
  • RuntimeError: (PreconditionNotMet) The third-party dynamic library (cudnn64_7.dll) that Paddle depen
  • 珊瑚礁区域常有的鱼类
  • php验证码识别
  • 企业存货期末应如何计价
  • unet网络的优缺点
  • 支付的食堂费用怎么入账
  • 网络电话综合布线
  • 税前扣除项目什么意思
  • 文化事业建设费减免政策
  • css网页布局代码
  • 主营业务成本记错了怎么调整
  • 应收帐款质保金
  • 单位多缴个人社保证明
  • 分公司和总公司的账务处理
  • 公司名下商品房过户给公司需要交过户费
  • 银行账户维护费怎么做账
  • java中反射
  • 织梦相关文章调用
  • 三项经费要包括哪三项
  • 资金占用费的税费是多少
  • 兼职收入用缴纳增值税吗
  • 非流动资产处置损失计入什么科目
  • 国企注册资本实缴
  • 固定资产加速折旧最新政策2022
  • 管理费用抵消分录
  • 契税应该计入税金及附加吗
  • 房屋拆除的会计分录
  • 销售材料购买方会计分录
  • 子公司向母公司借钱
  • 补缴以前年度企业年金可以税前扣除吗
  • 公司不营业需要交税吗
  • 工程款结清确认书模板
  • 产品成本核算的原则是
  • 数据库中的冗余度是什么意思
  • Linux Kernel 4.2下载 更新内容一览
  • fedora lts
  • 苹果Mac系统怎么安装
  • win8系统安装步骤
  • 两种方法解决一半模型的问题
  • 组策略禁用u盘怎么打开
  • windows8连wifi
  • 电脑win7不能用怎么办
  • win7无法远程桌面win10
  • win7累计更新补丁包
  • win7电脑c盘格式化
  • 新装win8系统卡顿严重,虚拟内存为0
  • android环境搭建教程
  • 批处理应用实例
  • android 重启app
  • 用js设置颜色
  • cocos2dx:C++层通过JniHelper调用JAVA层代码进而调用Android手机应用接口
  • python修改图片背景
  • 现行的企业所得税率是多少
  • 小规模纳税人开专票税率是1%还是3%
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设