位置: IT常识 - 正文

使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机)

编辑:rootadmin
使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型

推荐整理分享使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:让我用用你的计算机,使用你的电脑用英文怎么说,使用您自己的计算机英文,使用你的账户密码登录是什么意思,使用您自己的计算机英文,使用你的计算机,使用你的计算机,使用你的计算机,内容如对您有帮助,希望把文章链接给更多的朋友!

在我们最近的几篇文章中,我们一直在提到围绕大型语言和生成 AI 模型的炒作,以及如何减少推理和训练时间。随着我们的用户开始使用这些模型并对其进行微调,他们自然希望微调和部署包含数千亿参数的模型,以提高其特定用例的性能。

使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机)

通常,这是一项要求非常高的任务,需要大量计算和 40GB 检查点的存储。这在普通计算机硬件上是不可行的。除了所需的电力和存储之外,这种性质的微调模型需要很长时间才能运行,而且本质上非常昂贵——直到现在。

介绍Huggingface的PEFT库,该库支持LoRA、Prefix Tuning等Parameter Efficient Fine-tuning方法,无需对所有模型参数进行微调,即可使预训练语言模型高效适配各种下游应用。这些不同的技术实现了与完全微调相当的性能。

PEFT方法

自然语言处理的一个重要范例包括对一般领域数据的大规模预训练和对特定任务或领域的适应。在进行微调时,我们会更新目标任务的整套模型参数。虽然微调获得了良好的性能,但它在训练过程中会消耗内存,因为必须存储所有参数的梯度和优化器状态。此外,在推理期间为每个任务保留模型参数的副本是不方便的,因为预训练模型通常很大。

目前 PEFT 库支持 4 种方法,LoRA、Prefix Tuning、P-Tuning和Prompt Tuning。尽管这些方法有细微差别,但它们都围绕着相似的范例展开。他们冻结预训练的模型权重,只更新参数权重的一个子集。以前,现有技术通常通过扩展模型深度或减少模型可用序列长度来引入延迟。因此,这些方法以前无法匹配微调基线,从而在效率和模型质量之间进行权衡。

例如,使用LoRA,它冻结了预训练的模型权重,并将可训练的秩分解矩阵注入Transformer架构的每一层,大大

本文链接地址:https://www.jiuchutong.com/zhishi/300498.html 转载请保留说明!

上一篇:【学姐面试宝典】前端基础篇Ⅳ(JavaScript)(学长学姐面试要注意哪些细节)

下一篇:2022年底,我手里一共负责了30套系统(20221年的手抄报)

  • 华为nova7地震预警怎么开启(华为nova7地震预警怎么没有?)

    华为nova7地震预警怎么开启(华为nova7地震预警怎么没有?)

  • 苹果a13处理器是哪几款手机(苹果a13处理器是几纳米)

    苹果a13处理器是哪几款手机(苹果a13处理器是几纳米)

  • forest专注森林怎么改成中文(forest专注森林怎么看自己在哪个服务器)

    forest专注森林怎么改成中文(forest专注森林怎么看自己在哪个服务器)

  • 电表复位键在哪(电表的复位键是哪个键)

    电表复位键在哪(电表的复位键是哪个键)

  • soul绿点一定在线么(soul的绿点准不准)

    soul绿点一定在线么(soul的绿点准不准)

  • 第一代计算机采用的物理器件是(第一代计算机采用的电子元件是)

    第一代计算机采用的物理器件是(第一代计算机采用的电子元件是)

  • 原相机和人看到的一样吗(原相机就是别人看到我的真实)

    原相机和人看到的一样吗(原相机就是别人看到我的真实)

  • 显卡和机箱孔对不齐(显卡和机箱孔对不齐怎么办)

    显卡和机箱孔对不齐(显卡和机箱孔对不齐怎么办)

  • 华为投屏到电视机上怎么设置(华为投屏到电视机上没有声音)

    华为投屏到电视机上怎么设置(华为投屏到电视机上没有声音)

  • 电信卡服务密码初始密码是什么(电信卡服务密码忘了怎么查询)

    电信卡服务密码初始密码是什么(电信卡服务密码忘了怎么查询)

  • 剪映怎么加中英文字幕(剪映怎么加中英字幕对齐)

    剪映怎么加中英文字幕(剪映怎么加中英字幕对齐)

  • wifi6是华为开发的吗(华为wifi6技术)

    wifi6是华为开发的吗(华为wifi6技术)

  • 京东订单号锁定是什么意思(京东订单锁定还能发货吗)

    京东订单号锁定是什么意思(京东订单锁定还能发货吗)

  • 苹果11新手机怎么激活(苹果11新手机怎么下载微信)

    苹果11新手机怎么激活(苹果11新手机怎么下载微信)

  • 两微一端是什么的重心(两微一端是什么?)

    两微一端是什么的重心(两微一端是什么?)

  • 怎样关闭qq语音自动翻译(怎样关闭qq语音自动转文字)

    怎样关闭qq语音自动翻译(怎样关闭qq语音自动转文字)

  • 苹果x通话录音功能在哪(苹果X通话录音怎么设置)

    苹果x通话录音功能在哪(苹果X通话录音怎么设置)

  • 删掉的信息还能恢复吗(删掉的信息还能查到吗)

    删掉的信息还能恢复吗(删掉的信息还能查到吗)

  • lld-al20是什么型号(lda-al20是什么型号)

    lld-al20是什么型号(lda-al20是什么型号)

  • b站永久封禁怎么解除(b站永久封禁怎么申诉)

    b站永久封禁怎么解除(b站永久封禁怎么申诉)

  • 如何评价小米蓝牙项圈耳机(小米蓝米)

    如何评价小米蓝牙项圈耳机(小米蓝米)

  • 京东退货如何操作流程(京东退货操作卡在维修)

    京东退货如何操作流程(京东退货操作卡在维修)

  • 错误代码678是什么意思解决方法(报错代码678什么意思)

    错误代码678是什么意思解决方法(报错代码678什么意思)

  • 蓬塔德尔加达附近的海岸,葡萄牙 (© Jan Wlodarczyk/Alamy)(蓬莱德尔塔)

    蓬塔德尔加达附近的海岸,葡萄牙 (© Jan Wlodarczyk/Alamy)(蓬莱德尔塔)

  • 织梦dedecms搬家的两种方法(织梦不更新了)

    织梦dedecms搬家的两种方法(织梦不更新了)

  • 未认证发票有时间限制吗
  • 公益事业捐赠的范围是什么
  • 租赁厂房对方不租怎么办
  • 新公司开基本户银行选择
  • 盈余公积是否必要交税
  • 个税扣除项生效日期
  • 在建期间土地使用税可以资本化吗
  • 小规模纳税人收到专票后如何处理
  • 股本溢价如何计税
  • 物业公司收取供热管道内网的维护费用合理吗
  • 代发工资开票内容
  • 进项转出后是否要交税
  • 当月未认证的发票可以作废
  • 发票上的二维码可以扫金额吗
  • 企业购房房产税土地税补缴
  • 应交税费的余额怎么计算
  • 用友t3每月都要结账吗
  • 2020年运费发票备注栏新规定
  • 公司加农户经营模式
  • 固定资产后续支出是指固定资产在使用过程中发生的
  • 公司向个人租赁房屋要缴什么税
  • 苹果手机键盘剪切板在哪里打开
  • 不能升级win11的二手电脑值得购买吗
  • php递归函数详解
  • 上半年的业务总结几句话
  • 电脑系统出问题了怎么办
  • 银河麒麟操作系统价格
  • windows11怎么查询激活时间
  • 开发成本怎么核算
  • 计提固定资产折旧怎么做会计科目
  • 货币资金属于
  • 关于政府的话
  • 马拉喀什的历史背景
  • php验证身份证号
  • 公司借款给个人怎么写借条
  • python的Django框架
  • php解释器工作流程
  • 小规模升级一般纳税人需要多久
  • 社保在会计上的分类
  • 购买的服务怎么做账
  • 回购证券标的
  • 酒店没有营业执照开业犯法吗
  • 贷款利息发票可以随便开吗
  • 个体户开票超过10万怎么交税
  • javascript和java有什么区别
  • 收到预付款怎么入账
  • 工商罚款计入
  • 审核后的凭证
  • 纳税人具有怎样的特征?
  • 减值准备的定义
  • 在途物资属于会计科目吗
  • 存货跌价准备确认
  • 收到的发票未抵税怎么办
  • 待抵扣进项税额和待认证进项税额的区别
  • 收到银行本票计入什么科目
  • 外购材料的核算方法有
  • 货拉拉平台收取费用
  • 固定资产标准提高是政策变更吗
  • 外商投资企业和外商独资企业
  • 查看mysql执行计划关键字
  • xp如何给文件夹加密码
  • rpm包安装的apache可以如何启动
  • ami 2.17.1254bios设置图解教程
  • win8一直在开始界面
  • kvm支持的系统
  • lnmgr.exe是什么
  • postgres.exe是什么进程 postgres进程查询
  • win8系统关机在哪
  • js去除特殊字符
  • js启动
  • 用python写个脚本
  • android菜鸟教程
  • 审计局查什么内容
  • 重庆税筹公司
  • 环保税征税范围噪音
  • 武汉税务局发票对奖
  • 租赁设备能抵扣个税吗
  • 应税销售额如何计算
  • 什么是金融企业的固定推销人员
  • 报考地税局的要求是什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设