位置: IT常识 - 正文

【AIGC】1、爆火的 AIGC 到底是什么 | 全面介绍

编辑:rootadmin
【AIGC】1、爆火的 AIGC 到底是什么 | 全面介绍 文章目录一、AIGC 的简要介绍二、AIGC 的发展历程三、AIGC 的基石3.1 基本模型3.2 基于人类反馈的强化学习3.3 算力支持四、生成式 AI(Generative AI)4.1 单模态4.1.1 生成式语言模型(Generative Language Models,GLM)4.1.2 生成式视觉模型(Generative Vision Models)4.2 多模态4.2.1 视觉语言生成4.2.2 文本音频生成4.2.3 文本图形生成4.2.4 文本代码生成五、AIGC 的应用场景5.1 ChatBot5.2 Art5.3 Music5.4 Code5.5 Education

推荐整理分享【AIGC】1、爆火的 AIGC 到底是什么 | 全面介绍,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

参考论文:A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT

发布时间:2023.03

AIGC:AI Generated Content,AI 生成内容,即使用人工智能生成内容,可以生成文字、图像、音频、视频、代码等。

一、AIGC 的简要介绍

AIGC 是使用 Generative AI (GAI,生成式 AI) 的方式,能够模拟人类的方式,在很短的时间内创作大量的内容。比如现在很火的如下两个模型:

ChatGPT:一个语言模型,能够很快的理解并回复人类的问题DALL-E-2:能够在根据文字创作一幅对应的高质量图像,如图 1 所示

生成式 AI 需要做什么事情:

从人类的描述中提取信息根据提取到的信息生成对应的内容

现在的 AIGC 和之前的工作相比有哪些优势:

之前的工作:没有大量的数据和硬件支撑AIGC:有大量的数据、优秀的基础模型、强有力的硬件计算资源,比如语言模型: GPT-3 的预训练数据为 570G,基础模型尺寸为 175B,而前一版的 GPT-2 预训练数据只有 38G,基础模型尺寸为 1.5B,故 GPT-3 比 GPT-2 有更强的能力。而且 GPT-3 引入了强化学习来学习人类的反馈比如图像模型:stable diffusion,同样在 2022 年提出,且拥有很强的图像生成能力二、AIGC 的发展历程

1950s,隐马尔科夫模型(HMMs)和高斯混合模型(GMMs),可以生成序列数据,如台词或时间序列

2017 年之前,NLP 和 CV 的发展也分了两条道路:

NLP:最初是使用 N-gram language modeling 通过学习单词的分布来生成句子,但又不能处理很长的句子,于是就引入了 RNN,后面又有了 LSTM 和 GRU。CV:2014 年 GAN 被提出,后面又有 VAE 和 diffusion 模型,用于生成高质量图像

2017 年之后,NLP 和 CV 的一部分工作重心逐渐有了合并于 Transformer 的趋势:

2017 年,Transformer 被提出并用于 NLP,如 BERT 和 GPT,都有了完胜之前 LSTM 和 GRU 的效果2020 年,ViT 首次将 Transformer 用于图像分类人并取得了很好的效果,之后又有很多如 DETR、Swin、PVT 等基于 Transformer 的方法在图像领域的不同任务上同样取得了很好的效果

不仅如此,Transformer 也能够通过整合不同领域的信息来实现多模态任务

CLIP 就是一个联合使用 vision-languange 的模型,通过将 transformer 的结构和视觉组件的结合,允许其在大量的文本和图像数据上训练。也正是由于其在预训练的时候整合了图像和语言信息,故能够作为图像编码器进行生成。

三、AIGC 的基石3.1 基本模型

1、Transformer

Transformer 可以作为 backbone 或网络结构来实现多种不同模型的 SOTA,如 GPT-3[9]、DALL-E-2[5]、Codex[2] 和 Gopher[39]。

Transformer 结构大多是基于自注意力机制的 Encoder-Decoder 结构,Encoder 结构用于提取输入内容的隐式表达,Decoder 用于从隐式表达中生成输出。

Transformer 中的自注意力机制用于提取输入序列中不同 word 或 patch 的之间的关系。

Transformer 的另外一个优势在于其弱偏置归纳性,即引入的归纳偏置少,模型不容易很轻易的到达上限,故此使用大数据集进行预训练的 Transformer 能够达到很好的效果,并用于下游任务。

2、预训练的语言模型

Transformer 的结构目前已经成为语言模型的首选结构,也可以将不同方法分为两类:

autoregressive language modeling(decoder):自回归式语言模型,BERT、RoBERTa、XL-NetMasked language modeling(encoder):掩码式语言模型,GPT-3、OPTencoder-decoder 模型3.2 基于人类反馈的强化学习

尽管使用了大量的训练数据,AIGC 也可能并不能总是很好的理解人类的意图,比如实用性和真实性。

为了让 AIGC 的输出更接近于人类的偏好,从人类的反馈中不断进行强化学习也很重要, reinforcement learning from human feedback (RLHF),比如 Sparrow、InstructGPT、ChatGPT 都使用了强化学习。

RLHF 的整个过程包括三个步骤:

其一,是一个基于大量数据预训练得到的语言模型其二,训练一个奖励模型来对人类多种复杂的偏好进行编码其三,对第一步得到的语言模型 θ\thetaθ 进行 fine-tuned,来最大化第二步学习到的激励函数3.3 算力支持

现在发展成熟的硬件、分布式训练、云计算等都为大模型的产生提供了很大的支持

四、生成式 AI(Generative AI)

4.1 单模态

单模态生成模型,就是模型只能接收单一类型的输入,如文本或图像,然后产生对应类型的输出。

生成式语言模型:GPT-3、BART、T5 等生成式视觉模型:GAN、VAE、normalizing flow 等4.1.1 生成式语言模型(Generative Language Models,GLM)

生成式语言模型是 NLP 模型的一种,该模型所要实现的就是经过训练后能够根据其之前所接触过的模式和结构,生成可读的人类语言。

可以用于对话系统、翻译、问答系统等。

现有的 SOTA 预训练语言模型可以分为:

masked language model(encoder):一般用于分类任务autoregressive language model(decoder):一般用于文本生成encoder-decoder language:可以利用上下文信息和自回归属性来提高各种任务的性能

1、Decoder models

现有表现较好的基于 decoder 的自回归语言模型是 GPT[61],是使用 self-attention 的 Transformer 模型。还有 BERT、T5、InstructGPT 等。

2、Encoder-Decoder models:

现有的表现较好的是 Text-to-Text Transfer Transformer(T5)[56],同时使用了基于 Transformer 的 Encoder 和 Decoder 来进行预训练。

【AIGC】1、爆火的 AIGC 到底是什么 | 全面介绍

还有例如 Switch Transformer、ExT5、HELM 等

4.1.2 生成式视觉模型(Generative Vision Models)

1、GAN,Generative Adversarial Networks(GANs)

GAN 是图像生成领域很流行的一个模型,包括两个模块:

生成模型,学习如何生成新的数据判别模型,判断数据是真实的还是生成的假数据

典型方法有:

LAPGANDCGANsProgressive GANSAGANBigGANStyleGAND2GANGMANMGANMAD-GANCoGAN

2、VAE,Variational AutoEncoders

VAE 是生成模型,其原理是尝试学习数据的概率分布并学习如何重建数据使得其更接近原始输入数据。

3、Flow

Normalizing Flow 是一种基于分布变换的方式,使用一系列可逆和可微的映射将简单分布变成复杂分布

4、Diffusion

Diffusion model 是由通过逐步向输入图像中添加高斯噪声的前向扩散,和逐步恢复原图的逆向去噪组成的,是目前 SOTA 的方法。

DDPM 使用两个马尔科夫链来逐步进行高斯加噪和反向去噪SGM(Score-based generative model)NCSNScore SDE4.2 多模态

多模态生成的目标是学习一个模型,通过学习从数据中获得的多模态连接和交互来生成原始的模态。

不同模态的连接和交互是非常复杂的,这也使得多模态表示空间比单模态表示空间更难学习。

下面会涉及到各类 SOTA 多模态模型:

视觉语言生成文本语音生成文本图形生成文本代码生成4.2.1 视觉语言生成

Encoder-decoder 结构会经常被用于解决计算机视觉和自然语言处理的多模态生成问题

Encoder:学习输入数据的复杂特征表达Decoder:生成反应跨模态交互、结构、一致性的原始模态表达

视觉语言 Encoder,多模态的结合可以直观的想象通过将两个不同模态的预训练模型结合起来即可,主要有两种:

concatenated encodercross-aligned encoder

Concatenated Encoder:

将两个不同模态的模型 concat 起来,比如最早的 VisualBERT,使用 BERT 作为 text encoder,CNN 作为 image encoder,来自 image encoder 的编码被直接合并到 BERT 的输入编码中,让模型隐式地学习表达。VL-BERT,使用 Faster R-CNN 来抽取 RoI,将抽取到的 RoI 信息作为图像区域的编码UNITER

Cross-aligned Encoder:

该结构一般使用 tow-tower 结构,分别使用单个 tower 学习每个模态对应的特征,然后使用 cross-modality encoder 对两个模态的特征学习联合表达。LXMERT 使用 Transformer 来抽取图像特征和文本特征,然后使用了一个多模态 cross-attention 模块来进行协同学习,输出编码是视觉编码、语言编码、多模态编码ViLBERT 使用 cross-transformer 模型来对齐两个不同的模态,每个模态输入的 key 和 value 会被输入另外一个模态的 attention module 来生成一个合成的 attention 编码CLIP 使用点乘的方式来融合 cross layer,比上面的使用 self-attention 计算量更少

视觉语言模型 Decoder,能够通过给 encoder 得到的编码表达来生成特定模态的表达,主要包括:

to-textto-image

To-text decoders,通常从 encoder 中接收文本上下文表达,并解码为一个句子,主要有如下两种模型,随着大型语言模型的出现,现在很多结构都使用冻结语言 decoder 的方式。

jointly-trained models,联合训练解码器是指在解码表示时需要完整的交叉模态训练的解码器frozen models,冻结大语言模型,值训练 image decoder

To-image decoders,表示给定一条指令,生成对应的图像。用的较多的同样是 encoder-decoder 结构,encoder 用于学习语言信息,decoder 用于合成图像。一般有 GAN-based 和 diffusion-based 方法。

4.2.2 文本音频生成

文本音频生成

文本音乐生成

4.2.3 文本图形生成4.2.4 文本代码生成

Text Code Generation 可以根据输入的语言描述来说自动的生成可用的代码

CodeBERTCuBERTCodeT5AST

五、AIGC 的应用场景

5.1 ChatBot

可以和使用者进行基于文本的对话交互,一般使用语言模型来理解并根据问题进行语言的回答。

如微软小冰 Xiaoice,谷歌 Meena,微软 ChatGPT。

5.2 Art

AI 艺术生成是创作艺术品,一般都使用大型数据集在现有的艺术品上进行学习,学习到一定的规则后,模仿相关创作规则来产生新的艺术品。

如 OpenAI 的 DALL-E 系列,Stability.ai 的 DreamStudio,谷歌的 Imagen 等。

5.3 Music

音乐生成是指使用学习到的相关音乐创作规则,产生新的音乐创作。

如 OpenAI 的 Jukebox

5.4 Code

基于 AI 的编程系统包括生成完整的代码、源码和伪代码等

OpenAI 的 CodeGPT 是一个开源的基于 Transformer 结构的模型,还有 CodeParrot、Codex 等。

5.5 Education

还可以用于教育方面,比如生成教学视频、学术论文等。

本文链接地址:https://www.jiuchutong.com/zhishi/293151.html 转载请保留说明!

上一篇:Tensorflow两步安装(超简单)(tensorflow2安装)

下一篇:Yolov5+图像分割+百度AI接口——车牌实时检测识别系统(yolov3图像识别)

  • 车保保险合同
  • 村集体土地出租公示
  • 企业所得税汇算清缴退税怎么做账
  • 收到进度款开票如何做账务处理合适呢?
  • 高工资怎么说
  • 医院外聘专家费用由科室承担吗
  • 会务费税率是多少 2021
  • 新公司营业执照经营范围越多越好吗
  • 如何返还股东的出资款
  • 固定资产投资成本的回收与实物更新
  • 用友t3怎么增加现金流量项目
  • 收到房租发票可以抵扣吗
  • 个税所得期和所得税区别
  • 活动展开方式怎么写
  • 启用或关闭windows功能怎么勾选
  • 一次性计提折旧的政策
  • bootcamp怎么直接安装
  • Win7系统中如何快速查询文件内容
  • 收购发票哪一联做帐
  • win10无法上网,显示灰色的飞行模式
  • phpstudy如何查看错误日志
  • 外包社保会计分录
  • 短期投资取得的收益
  • 取得抵债资产的方式
  • php清除缓存的几个方法
  • post请求怎么用
  • php消息队列kafka
  • 深入理解llvm
  • 发行股票的手续费佣金计入什么科目
  • 全网最详细的李白解说来了
  • 印花税应计入什么
  • 支付厂房租赁费怎么入账
  • 个人在平台销售怎么做
  • 建筑公司劳务发票
  • 织梦如何添加浮动广告
  • 累计盈余下设明细科目吗
  • 环境检测收费依据2017
  • 商场账务
  • 退股东股本账务处理
  • 增值税进项税额转出的情况有哪些
  • 公司举办活动方案
  • 个人所得税修改密码怎么改
  • 个人出租不动产增值税优惠政策
  • 小规模教育培训怎样纳税
  • 一般纳税人销售自己使用过的汽车
  • 增值税纳税申报实训报告
  • 发票收款人和复核人在哪儿政
  • 企业选择的短期调整
  • 银行只收不付解除方式
  • 公允价值变动损益
  • 给客户优惠货款怎么写
  • 非居民企业境内所得
  • 没有按时对账
  • 应纳税工资是应发还是实发
  • 购入固定资产中的增值税
  • 建筑公司可以收工程款发票吗
  • 公对公转账必须签合同吗
  • 企业不加入工会的原因
  • 不含税价换算成含税价怎么算
  • 电脑如何将耳机模式换扬声器
  • windows 10 周年更新
  • linux which ls
  • win7系统硬盘
  • tar解压工具
  • navapp.exe - navapp是什么进程文件 作用是什么
  • win7任务栏怎么全部显示出来
  • cocos2dx4.0教程
  • js数组洗牌
  • Custom List in inspector, displaying data your way[Unity]
  • 最常见的左向右分流型心脏病是
  • easyui formatter
  • jquery轮播代码
  • ubuntu下安装win10
  • android,ios,apicloud 同时开发两个平台应用,方便简单一体化,自带svn,云编译,中文IDE
  • 开普票需要提供合同吗
  • 租房完税证明需要房东交钱吗?
  • 乌鲁木齐市公立幼儿园有哪些
  • 资源税什么意思
  • 车辆购置税怎么做账
  • 营改增后如何纳税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设