位置: IT常识 - 正文

理解DALL·E 2, Stable Diffusion和 Midjourney工作原理

编辑:rootadmin
理解DALL·E 2, Stable Diffusion和 Midjourney工作原理

推荐整理分享理解DALL·E 2, Stable Diffusion和 Midjourney工作原理,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

编者按:随着AIGC的兴起,各位小伙伴们对文生图工具DALL-E 2、Stable Diffusion和Midjourney一定并不陌生。

本期IDP Inspiration,小白将和大家一同走进这三者背后的技术原理,一探究竟。

以下是译文,Enjoy!

作者 | Arham Islam

编译 | 岳扬

在过去的几年里,人工智能(AI)取得了极大的进展,而AI的新产品中有AI图像生成器。这是一种能够将输入的语句转换为图像的工具。文本转图像的AI工具有许多,但最突出的就属DALL-E 2、Stable Diffusion和Midjourney了。

DALL·E 2及其背后的技术

DALL-E 2由OpenAI开发,它通过一段文本描述生成图像。其使用超过100亿个参数训练的GPT-3转化器模型,能够解释自然语言输入并生成相应的图像。

一幅描述篮球运动员灌篮的油画,具有星云爆炸的效果 - 图片由DALLE 2创作

DALL-E 2主要由两部分组成——将用户输入转换为图像的表示(称为Prior),然后是将这种表示转换为实际的照片(称为Decoder)。

Source: https://www.youtube.com/watch?v=F1X4fHzF4mQ

其中使用到的文本和图像嵌入来自另一个叫做CLIP(对比语言-图像预训练)的网络,这也是由OpenAI研发的。CLIP是一种神经网络,为输入的图像返回最佳的标题。它所做的事情与DALL-E 2所做的相反——它是将图像转换为文本,而DALL-E 2是将文本转换为图像。引入CLIP的目的是为了学习物体的视觉和文字表示之间的联系。

CLIP - 为图像返回最佳的文本

DALL-E 2的工作是训练两个模型。第一个是Prior,接受文本标签并创建CLIP图像嵌入。第二个是Decoder,其接受CLIP图像嵌入并生成图像。模型训练完成之后,推理的流程如下:

输入的文本被转化为使用神经网络的CLIP文本嵌入。

使用主成分分析(Principal Component Analysis)降低文本嵌入的维度。

使用文本嵌入创建图像嵌入。

进入Decoder步骤后,扩散模型被用来将图像嵌入转化为图像。

图像被从64×64放大到256×256,最后使用卷积神经网络放大到1024×1024。

Stable Diffusion及其技术

Stable Diffusion是一个文转图的模型,其使用了CLIP ViT-L/14文本编码器,能够通过文本提示调整模型。它在运行时将成像过程分离成“扩散 (diffusion)”的过程——从有噪声的情况开始,逐渐改善图像,直到完全没有噪声,逐步接近所提供的文本描述。

一个可以看到埃菲尔铁塔的皮卡丘高级餐厅 - 图片由Stable Diffusion生成

Stable Diffusion是基于Latent Diffusion Model(LDM)的,LDM是一款顶尖的文转图合成技术。在了解LDM的工作原理之前,让我们先看看什么是扩散模型以及为什么我们需要LDM。

扩散模型(Diffusion Models, DM)是基于Transformer的生成模型,它采样一段数据(例如图像)并随着时间的推移逐渐增加噪声,直到数据无法被识别。该模型尝试将图像回退到原始形式,在此过程中学习如何生成图片或其他数据。

DM存在的问题是强大的DM往往要消耗大量GPU资源,而且由于序列化评估(Sequential Evaluations),推理的成本相当高。为了使DM在有限的计算资源上进行训练而不影响其质量以及灵活性,Stable Diffusion将DM应用于强大的预训练自动编码器(Pre-trained Autoencoders)。

在这样的前提下训练扩散模型,使其有可能在降低复杂性和保留数据细节之间达到一个最佳平衡点,显著提高视觉真实程度。在模型结构中引入交叉注意力层(cross attention layer),使扩散模型成为一个强大而灵活的生成器,实现基于卷积的高分辨率图像生成

Midjourney及其是如何工作的理解DALL·E 2, Stable Diffusion和 Midjourney工作原理

Midjourney也是一款由人工智能驱动的工具,其能够根据用户的提示生成图像。MidJourney善于适应实际的艺术风格,创造出用户想要的任何效果组合的图像。它擅长环境效果,特别是幻想和科幻场景,看起来就像游戏的艺术效果。

夜晚的云端城堡,电影般的画面 - 图片由Midjourney生成

Midjourney也是一个人工智能图像生成工具,它通过输入文本和参数,并使用在大量图像数据上训练出的机器学习(ML)算法来生成独一无二的图像。

Midjourney目前只能通过其官方Discord上的Discord机器人使用。用户使用“/imagine”命令生成图像,并像其他AI图像生成工具一样输入命令提示。然后机器人会返回一张图片。

DALL·E 2, Stable Diffusion 和 Midjourney之间的比较

DALL-E 2使用数以百万计的图片数据进行训练,其输出结果更加成熟,非常适合企业使用。当有两个以上的人物出现时,DALL-E 2产生的图像要比Midjourney或Stable Diffusion好得多。

而Midjourney则是一个以其艺术风格闻名的工具。Midjourney使用其Discord机器人来发送以及接收对AI服务器的请求,几乎所有的事情都发生在Discord上。由此产生的图像很少看起来像照片,它似乎更像一幅画。

Stable Diffusion 是一个开源的模型,人人都可以使用。它对当代艺术图像有比较好的理解,可以产生充满细节的艺术作品。然而它需要对复杂的prompt进行解释。Stable Diffusion比较适合生成复杂的、有创意的插图。但在创作一般的图像时就显得存在些许不足。

下面的prompt有助于了解每种模型的相似性和差异。

参考资料

https://medium.com/mlearning-ai/dall-e2-vs-stable-diffusion-same-prompt-different-results-e795c84adc56

https://medium.com/geekculture/what-is-dalle-2-what-to-know-before-trying-the-groundbreaking-ai-e7a585f2edf0

https://stability.ai/blog/stable-diffusion-public-release

https://www.dexerto.com/entertainment/what-is-midjourney-new-ai-image-generator-rivals-dall-e-1864522/

https://medium.com/nightcafe-creator/stable-diffusion-tutorial-how-to-use-stable-diffusion-157785632eb3

https://interestingengineering.com/innovation/stability-ai-uses-latent-diffusion-models-to-allow-users-to-create-art-in-stable-diffusion

https://medium.com/augmented-startups/how-does-dall-e-2-work-e6d492a2667f

https://medium.com/codex/a-quick-look-under-the-hood-of-stable-diffusion-open-source-architecture-2f07fc1e729

https://stepico.com/blog/midjourney-as-an-artificial-intelligence-system/

https://www.dexerto.com/entertainment/what-is-midjourney-new-ai-image-generator-rivals-dall-e-1864522/

https://petapixel.com/2022/08/22/ai-image-generators-compared-side-by-side-reveals-stark-differences/

https://analyticsindiamag.com/stable-diffusion-vs-midjourney-vs-dall-e2/

https://medium.com/mlearning-ai/dall-e-2-vs-midjourney-vs-stable-diffusion-8eb9eb7d20be

IDP-Inspiration是IDP常设专栏。在这里,我们会分享国内外数据科学家和算法工程师在实战中总结的宝贵经验,为想要从事数据科学和AI开发生产相关工作的小伙伴提供借鉴!

AI相关技术投稿,请联系Alex@baihai.ai

本文链接地址:https://www.jiuchutong.com/zhishi/300262.html 转载请保留说明!

上一篇:Vue路由守卫(通俗易懂)(vue路由守卫用法)

下一篇:AIGC之GPT-4:GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略

  • 研发费用明细账
  • 长期借调人员差旅费是谁的责任
  • 城镇土地使用税减免税政策
  • 全国通用机打销售票违法吗
  • 服务,不动产和无形资产扣除项目本期实际扣除金额
  • 小规模购买税盘的费用可以抵税吗
  • 善意接受虚开发票只能自认倒霉么
  • 业务招待费支出扣除标准
  • 预收货款存入银行分录
  • 报表的应付款太大怎么调?
  • 滞纳金用留抵增值税交怎么处理
  • 收到保险公司返还的保险费
  • 购买财务软件账务处理规定
  • 子公司向母公司借款
  • 代驾服务可以开具增值税专用发票吗
  • 原材料的实际成本是什么
  • 税控盘怎么打票
  • 代销商品手续费计入
  • 会计中包装物计入
  • 银行承兑汇票到期怎么提示付款
  • 增值税税额转出申报怎么填写
  • 如何区分纳税调额和补税
  • 金蝶现金流量表附表项目如何指定
  • 搬运费没有发票能入成本吗?
  • 小规模适用税率
  • 收购公司款项的支付是利好还是利差
  • 投资性房地产企业有哪些
  • win10怎么关闭开机磁盘自检
  • 小规模纳税企业在应交增值税明细科目
  • php 替换字符
  • linux命令tar zcvf
  • 企业预付工程车租赁费
  • 记账软件的作用
  • php正则函数内容匹配
  • php计算多个集合的数据
  • 如何判断公众号是否可靠
  • laravel入门与实战:构建主流php应用开发框架
  • 嵌入式从业10年,聊聊我对工业互联网和消费物联网的看法 | 文末赠书4本
  • PHP中spl_autoload_register()函数用法实例详解
  • 董事会会议中的会议内容
  • 非正常损失的原材料进项税额可以抵扣吗
  • php登录不了
  • Python支持向量能干什么
  • 浅谈建筑地基基础加固施工技术亲
  • 进项税额是什么意思
  • 养殖类合作社
  • 三票合一的发票什么意思
  • 个体工商户增值税怎么计算
  • 残保金操作流程
  • 企业清算所得税申报
  • 房租没有发票如何处理
  • 影响企业所得税的因素
  • 帮别人注册医疗器械法人有风险吗
  • 财务费用具体包括
  • 展览门票收入按什么征税
  • 普通发票作废影响额度吗
  • 军工科研事业单位会计制度
  • 金税盘买发票还要填交验旧表吗?
  • win8专业版系统更改电脑设置没反应
  • XP系统电脑开机密码忘了
  • windows xp.
  • gitlab离线安装 linux
  • win8系统怎么设置密码登陆
  • 怎样下载电子书免费的
  • po|iceofficer是什么意思
  • 环境搭建怎么写
  • retrofit提交表单
  • html图像元素
  • javascript教程完整版
  • jquery动态添加的元素怎么添加事件
  • django实时刷新日志前端
  • javascript操作csv
  • jQuery simplePage+AJAX plus分页插件用法实例
  • javascript中this的用法
  • 简述使用jquery实现表单验证的流程
  • 江苏省地方税务局网上办税
  • 营改增后一般纳税人动产租赁税率
  • 税务局网上开票平台app
  • 复印店开什么发票
  • 经营所得税怎么交
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设