位置: IT常识 - 正文

使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机)

编辑:rootadmin
使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型

推荐整理分享使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:让我用用你的计算机,使用你的电脑用英文怎么说,使用您自己的计算机英文,使用你的账户密码登录是什么意思,使用您自己的计算机英文,使用你的计算机,使用你的计算机,使用你的计算机,内容如对您有帮助,希望把文章链接给更多的朋友!

在我们最近的几篇文章中,我们一直在提到围绕大型语言和生成 AI 模型的炒作,以及如何减少推理和训练时间。随着我们的用户开始使用这些模型并对其进行微调,他们自然希望微调和部署包含数千亿参数的模型,以提高其特定用例的性能。

使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型(让我用用你的计算机)

通常,这是一项要求非常高的任务,需要大量计算和 40GB 检查点的存储。这在普通计算机硬件上是不可行的。除了所需的电力和存储之外,这种性质的微调模型需要很长时间才能运行,而且本质上非常昂贵——直到现在。

介绍Huggingface的PEFT库,该库支持LoRA、Prefix Tuning等Parameter Efficient Fine-tuning方法,无需对所有模型参数进行微调,即可使预训练语言模型高效适配各种下游应用。这些不同的技术实现了与完全微调相当的性能。

PEFT方法

自然语言处理的一个重要范例包括对一般领域数据的大规模预训练和对特定任务或领域的适应。在进行微调时,我们会更新目标任务的整套模型参数。虽然微调获得了良好的性能,但它在训练过程中会消耗内存,因为必须存储所有参数的梯度和优化器状态。此外,在推理期间为每个任务保留模型参数的副本是不方便的,因为预训练模型通常很大。

目前 PEFT 库支持 4 种方法,LoRA、Prefix Tuning、P-Tuning和Prompt Tuning。尽管这些方法有细微差别,但它们都围绕着相似的范例展开。他们冻结预训练的模型权重,只更新参数权重的一个子集。以前,现有技术通常通过扩展模型深度或减少模型可用序列长度来引入延迟。因此,这些方法以前无法匹配微调基线,从而在效率和模型质量之间进行权衡。

例如,使用LoRA,它冻结了预训练的模型权重,并将可训练的秩分解矩阵注入Transformer架构的每一层,大大

本文链接地址:https://www.jiuchutong.com/zhishi/300498.html 转载请保留说明!

上一篇:【学姐面试宝典】前端基础篇Ⅳ(JavaScript)(学长学姐面试要注意哪些细节)

下一篇:2022年底,我手里一共负责了30套系统(20221年的手抄报)

  • 华为nova7pro怎么使用(华为nova7pro怎么分屏)

    华为nova7pro怎么使用(华为nova7pro怎么分屏)

  • intelturboboost超频要关闭吗(英特尔bios超频)

    intelturboboost超频要关闭吗(英特尔bios超频)

  • 为啥拨打电话总是在通话中(为什么打电话)

    为啥拨打电话总是在通话中(为什么打电话)

  • 无线充电器的工作原理(无线充电器的工作原理电路图讲解)

    无线充电器的工作原理(无线充电器的工作原理电路图讲解)

  • 拼多多退货商家不处理怎么办(拼多多退货商家拒收快递会怎么样)

    拼多多退货商家不处理怎么办(拼多多退货商家拒收快递会怎么样)

  • 电脑怎么自动求和(电脑怎么自动求和在左边)

    电脑怎么自动求和(电脑怎么自动求和在左边)

  • 淘宝上已处理的评价什么时候刷新(淘宝已处理的评价是怎么回事)

    淘宝上已处理的评价什么时候刷新(淘宝已处理的评价是怎么回事)

  • 美团每天几点更新(美团每天几点更新菜)

    美团每天几点更新(美团每天几点更新菜)

  • 钉钉老师能看见学生屏幕吗(钉钉老师能看见学生在干什么吗)

    钉钉老师能看见学生屏幕吗(钉钉老师能看见学生在干什么吗)

  • i7 7700k配什么显卡(i77700k配什么显卡合适)

    i7 7700k配什么显卡(i77700k配什么显卡合适)

  • 广电e48是什么意思(广电网络e48是什么意思)

    广电e48是什么意思(广电网络e48是什么意思)

  • vue生命周期几个阶段(vue生命周期有多少个)

    vue生命周期几个阶段(vue生命周期有多少个)

  • 华为手机微信卸载后聊天记录怎么恢复(华为手机微信卸载后聊天记录恢复)

    华为手机微信卸载后聊天记录怎么恢复(华为手机微信卸载后聊天记录恢复)

  • 布局选项卡中有哪些操作(布局选项卡中有哪些内容)

    布局选项卡中有哪些操作(布局选项卡中有哪些内容)

  • 买苹果8需要贴膜吗(苹果8需要贴膜和手机壳吗)

    买苹果8需要贴膜吗(苹果8需要贴膜和手机壳吗)

  • 电脑机箱风扇出风方向(电脑机箱风扇异响怎么办)

    电脑机箱风扇出风方向(电脑机箱风扇异响怎么办)

  • 小米手机有没有红包助手(小米手机有没有应用隐藏功能)

    小米手机有没有红包助手(小米手机有没有应用隐藏功能)

  • 惠普打印机136w怎么安装(惠普打印机136w连接wifi)

    惠普打印机136w怎么安装(惠普打印机136w连接wifi)

  • 抖音怎么录屏幕视频(怎么拍抖音视频)

    抖音怎么录屏幕视频(怎么拍抖音视频)

  • 苹果黑屏怎么关闭旁白(苹果黑屏怎么关机重启)

    苹果黑屏怎么关闭旁白(苹果黑屏怎么关机重启)

  • qq设备锁如何跳过验证(qq设备锁怎么开启2020)

    qq设备锁如何跳过验证(qq设备锁怎么开启2020)

  • 鸿蒙怎么查手机软件使用时间?鸿蒙查看手机软件使用时间教程(华为鸿蒙怎么看手机型号)

    鸿蒙怎么查手机软件使用时间?鸿蒙查看手机软件使用时间教程(华为鸿蒙怎么看手机型号)

  • 什么是bios设置 bios与cmos的设置在概念上的区分与联系(什么是BIOS设置界面)

    什么是bios设置 bios与cmos的设置在概念上的区分与联系(什么是BIOS设置界面)

  • 网件R6400路由器怎么样?R6400拆解与内部结构评测

    网件R6400路由器怎么样?R6400拆解与内部结构评测

  • 骑自行车的好处和坏处(骑自行车的好处功效与作用)

    骑自行车的好处和坏处(骑自行车的好处功效与作用)

  • Vue基础开发入门之简单语法知识梳理(思维导图详解)(vue开发需要掌握哪些知识)

    Vue基础开发入门之简单语法知识梳理(思维导图详解)(vue开发需要掌握哪些知识)

  • 收购分公司和谁签协议
  • 代扣代缴境外增值税可以抵扣
  • 税控盘的功能特点是
  • 防伪税控风险纳税人财务负责人和法人同一人
  • 车船税是什么意思图片
  • 金融企业往来支出属于什么科目
  • 小规模季度30万免税
  • 以前年度计提的工资没发放怎么处理
  • 个人专项扣除需要扣税吗
  • 哪些商业保险可以扣除个人所得税
  • 收到税收返还的会计处理
  • 商贸公司运输发票怎么开
  • 购进货品未取得发票如何处理
  • 购买银行理财产品被骗怎么办
  • 企业收到经营外的发票如何做账
  • 个体户注销未分配利润要交个税吗
  • 进口设备不需要交关税吗
  • 公益性捐赠公告
  • 个税申报表怎么打印
  • 外购固定资产进项税
  • 收到人民政府寄来的ems
  • 2020年开公司优惠政策
  • 如何解决电脑无法定位程序输入点
  • 煤矿安全费用会议
  • 事业单位财政拨款是编制吗
  • 启动电脑显示器不亮怎么回事
  • 项目设计费怎么计算
  • 企业向股东发放现金股利
  • 债券利息计算表
  • mac怎么保存
  • mcshield.exe是什么进程
  • url示例
  • wordpress自定义文章类型
  • 车辆购置税相关知识
  • PHP面向对象程序设计
  • vue3父子组件传递数组通信
  • 卷积神经网络有哪些
  • 代付代缴社保会计分录
  • 跟郑老师学会计建筑业账务处理
  • 织梦怎么用模板建站
  • 存续分立会计处理原则
  • 资产减值损失为什么要调增
  • 个税申报的本期收入填什么
  • 帝国cms什么语言
  • 长期待摊费用科目性质
  • 二房东可以卖房吗
  • 金融商品转让如何确定销售额
  • 企业所得税包含员工工资吗
  • 主营业务利润率标准
  • SQL server 2008中的数据库能否只包含数据文件
  • 免税所得包括哪些
  • 股东有本金偿还的权利吗
  • 差旅费用抵扣税款
  • 利润表和资产负债表不平的原因
  • 水泥销售会计分录怎么做
  • 在建工程结束后怎么处理
  • 出口退税后发生退货补缴怎么算增值税
  • 去年多交所得税今年怎么处理
  • 项目上工人死亡赔偿
  • 建筑行业如何结算工程款
  • 企业增资扩股如何办理
  • 以前年度损益调整借贷方向
  • 发票商品编码表
  • 商业会计机构的组织形式
  • 安装sqlserver2000 IP地址出错怎样修改
  • mysql 授权命令
  • 如何将用户加入某个组
  • win8安全和维护在哪
  • win7系统开机黑屏只有鼠标且打不开任务管理器
  • windows预览0x80072ee2
  • unity软件设计
  • 基于javaweb的物流管理系统
  • 搭建简单的spike课程
  • 常见的shell脚本
  • Python实现以时间换空间的缓存替换算法
  • 噩梦pv
  • windows ipython
  • 平谷大集时间表2022
  • 工商电话号码客服投诉热线
  • 公司汽车用油计入什么科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设