位置: IT常识 - 正文

大模型训练——PEFT与LORA介绍(大模型训练成本)

编辑:rootadmin
大模型训练——PEFT与LORA介绍 大模型训练——PEFT与LORA介绍0. 简介1. LORA原理介绍2. 补充资料:低显存学习方法3. PEFT对LORA的实现0. 简介

推荐整理分享大模型训练——PEFT与LORA介绍(大模型训练成本),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:大模型训练和推理的区别,大模型训练框架,大模型训练成本,大模型训练成本,大模型训练成本,大模型训练流程,大模型训练平台,大模型训练流程,内容如对您有帮助,希望把文章链接给更多的朋友!

朋友们好,我是练习NLP两年半的算法工程师常鸿宇,今天介绍一下大规模模型的轻量级训练技术LORA,以及相关模块PEFT。Parameter-Efficient Fine-Tuning (PEFT),是huggingface开发的一个python工具,项目地址:

https://github.com/huggingface/peft

其可以很方便地实现将普通的HF模型变成用于支持轻量级fine-tune的模型,使用非常便捷,目前支持4种策略,分别是:

LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELSPrefix Tuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation, P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and TasksP-Tuning: GPT Understands, TooPrompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning

今天要介绍的,是其中之一,也是最近比较热门的LORA (LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS)。

1. LORA原理介绍

LORA的论文写的比较难读懂,但是其原理其实并不复杂。简单理解一下,就是在模型的Linear层,的旁边,增加一个“旁支”,这个“旁支”的作用,就是代替原有的参数矩阵W进行训练。

结合上图,我们来直观地理解一下这个过程,输入xxx,具有维度ddd,举个例子,在普通的transformer模型中,这个xxx可能是embedding的输出,也有可能是上一层transformer layer的输出,而ddd一般就是768或者1024。按照原本的路线,它应该只走左边的部分,也就是原有的模型部分。

而在LORA的策略下,增加了右侧的“旁支”,也就是先用一个Linear层A,将数据从ddd维降到rrr,这个rrr也就是LORA的秩,是LORA中最重要的一个超参数。一般会远远小于ddd,尤其是对于现在的大模型,ddd已经不止是768或者1024,例如LLaMA-7B,每一层transformer有32个head,这样一来ddd就达到了4096.

接着再用第二个Linear层B,将数据从rrr变回ddd维。最后再将左右两部分的结果相加融合,就得到了输出的hidden_state。

对于左右两个部分,右侧看起来像是左侧原有矩阵WWW的分解,将参数量从d∗dd*dd∗d变成了d∗r+d∗rd*r+d*rd∗r+d∗r,在r<<dr<<dr<<d的情况下,参数量就大大地降低了。熟悉各类预训练模型的同学可能会发现,这个思想其实与Albert的思想有异曲同工之处,在Albert中,作者通过两个策略降低了训练的参数量,其一是Embedding矩阵分解,其二是跨层参数共享。

在Albert中,作者考虑到词表的维度很大,所以将Embedding矩阵分解成两个相对较小的矩阵,用来模拟Embedding矩阵的效果,这样一来需要训练的参数量就减少了很多。

LORA也是类似的思想,并且它不再局限于Embedding层,而是所有出现大矩阵的地方,理论上都可以用到这样的分解。

但是与Albert不同的是,Albert直接用两个小矩阵替换了原来的大矩阵,而LORA保留了原来的矩阵W,但是不让W参与训练,所以需要计算梯度的部分就只剩下旁支的A和B两个小矩阵。

从论文中的公式来看,在加入LORA之前,模型训练的优化表示为: max⁡Φ∑(x,y)∈Z∑t=1∣y∣log⁡(PΦ(yt∣x,y<t))\max \limits_{\Phi}\sum_{\left(x, y\right) \in Z} \sum_{t=1}^{\vert y \vert} \log \left(P_{\Phi} \left ( y_t \vert x, y_{<t}\right)\right)Φmax​(x,y)∈Z∑​t=1∑∣y∣​log(PΦ​(yt​∣x,y<t​)) 其中,模型的参数用Φ\PhiΦ表示。

而加入了LORA之后,模型的优化表示为: max⁡Θ∑(x,y)∈Z∑t=1∣y∣log⁡(pΦ+ΔΦ(Θ)(yt∣x,y<t))\max \limits_{\Theta}\sum_{\left(x, y\right) \in Z} \sum_{t=1}^{\vert y \vert} \log \left(p_{\Phi_0+\Delta\Phi \left( \Theta\right)} \left ( y_t \vert x, y_{<t}\right)\right)Θmax​(x,y)∈Z∑​t=1∑∣y∣​log(pΦ0​+ΔΦ(Θ)​(yt​∣x,y<t​))

其中,模型原有的参数是Φ\Phi_0Φ0​,LORA新增的参数是ΔΦ(Θ)\Delta \Phi\left(\Theta\right)ΔΦ(Θ)。

从第二个式子可以看到,尽管参数看起来增加了(多了ΔΦ(Θ)\Delta \Phi\left(\Theta\right)ΔΦ(Θ)),但是从前面的max的目标来看,需要优化的参数只有Θ\ThetaΘ,而根据假设,Θ<<Φ\Theta <<\PhiΘ<<Φ,这就使得训练过程中,梯度计算量少了很多,所以就在低资源的情况下,我们可以只消耗Θ\ThetaΘ这部分的资源,这样一来就可以在单卡低显存的情况下训练大模型了。

但是相应地,引入LORA部分的参数,并不会在推理阶段加速,因为在前向计算的时候,Φ\PhiΦ部分还是需要参与计算的,而Θ\ThetaΘ部分是凭空增加了的参数,所以理论上,推理阶段应该比原来的计算量增大一点。

2. 补充资料:低显存学习方法

在介绍代码之前,在这里补充一些低显存学习方法的介绍。参考苏剑林老师的博客:Ladder Side-Tuning:预训练模型的“过墙梯”。其中主要介绍了一篇2022年的论文:《LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning》,其中对低显存消耗的训练方法进行了综合地介绍,包括LORA。

论文地址:https://arxiv.org/pdf/2206.06522.pdf

这里借用此文中的配图,来说明一下,在LORA之前的常见的Memory Efficient Transfer Learning方法。

在上图中,非常形象地展示了三种transfer learning的策略。

在普通的adapter中,在各层backbone(蓝色)之间,加入了相对较小的训练参数(绿色),以此来通过调整绿色部分,减少训练参数。然而在这种策略下,缺乏梯度的直接通路(红色虚线),在反向传播中,需要经过所有蓝色的部分。并且,这种结构在并行上也会存在一些困难。

而在prompt tuning中,也存在一些固有的缺陷,它同样缺少梯度的直接通路,每次都需要经过所有的backbone部分。而且,prompt tuning的任务设置过于理想,试图只调节输入端的小部分参数,对深层部分的影响是相当有限的,这就会造成最终fine-tune的效果受到局限。

大模型训练——PEFT与LORA介绍(大模型训练成本)

由于LST不是本文的重点,所以只借助这个示意图来对LORA策略进行说明。而实际上,LST可以看做是在LORA的基础上做出的进一步改进,感兴趣的同学可以阅读原文。

LST与LORA类似,在原有参数矩阵的一侧增加了一个旁支通路,但是二者有些许区别:

LORA是将上一步的输入,在分支的时候,分别经过原有参数(类似于图中蓝色部分),以及旁支的通路(绿色可训练参数),二者之间是类似平等的,然后再将结果相加,作为下一层的输入;LST是在将输入先经过原有参数,再与输入本身相加,一起送入旁支通路。

根据LST的论文,其效果是优于LORA的,但是它毕竟不是本文的主角,所以对其原理细节就不做过多的介绍了。

3. PEFT对LORA的实现

接下来是代码部分,我们以HF的PEFT(当前版本0.2.0)为例,介绍一下LORA是如何作用在HF模型上的。

以LORA为例,PEFT模型的使用非常方便,只需要按照原本的方式实例化模型,然后设置一下LORA的config,调用一下get_peft_model方法,就获得了在原模型基础上的PEFT模型,对于LORA策略来讲,就是在某些参数矩阵W的基础上增加了矩阵分解的旁支。在下面的例子中,选择了attention中的q和v的部分做LORA。

# 设置超参数及配置LORA_R = 8LORA_ALPHA = 16LORA_DROPOUT = 0.05TARGET_MODULES = [ "q_proj", "v_proj",]config = LoraConfig( r=LORA_R, lora_alpha=LORA_ALPHA, target_modules=TARGET_MODULES, lora_dropout=LORA_DROPOUT, bias="none", task_type="CAUSAL_LM",)# 创建基础transformer模型model = AutoModelForSeq2SeqLM.from_pretrained(model_name_or_path)# 加入PEFT策略model = get_peft_model(model, config)

简单介绍一下Lora config相关的配置:

参数名含义rlora的秩,矩阵A和矩阵B相连接的宽度,r<<dlora_alpha归一化超参数,lora参数ΔWx\Delta WxΔWx会被以αr\frac \alpha rrα​归一化,以便减少改变rrr时需要重新训练的计算量lora_dropoutlora层的dropout比率merge_weightseval模式中,是否将lora矩阵的值加到原有WW_0W0​的值上fan_in_fan_out只有应用在Conv1D层时置为True,其他情况Falsebias是否可训练bias,none:均不可;all:均可;lora_only:只有lora部分的bias可训练modules_to_save除了lora部分之外,还有哪些层可以被训练,并且需要保存

接下来,结合PEFT模块的源码,来看一下LORA是如何实现的。

在PEFT模块中,peft_model.py中的PeftModel类是一个总控类,用于模型的读取保存等功能,继承了transformers中的Mixin类,我们主要来看LORA的实现:

代码位置:https://github.com/huggingface/peft/blob/main/src/peft/tuners/lora.py

class LoraModel(torch.nn.Module): def __init__(self, config, model): super().__init__() self.peft_config = config self.model = model self._find_and_replace() mark_only_lora_as_trainable(self.model, self.peft_config.bias) self.forward = self.model.forward

从构造方法可以看出,这个类在创建的时候主要做了两件事:

_find_and_replace: 找到所有需要加入lora策略的层,例如q_proj,把它们替换成lora模式;保留lora部分的参数可训练,其余参数全都固定下来不动。

_find_and_replace的逻辑很清晰,就是先找到需要的做lora的层,然后创建lora层把它替换掉。这里把关键语句列出如下:

找目标层:

# 其中的target_modules在上面的例子中就是"q_proj","v_proj"# 这一步就是找到模型的各个组件中,名字里带"q_proj","v_proj"的target_module_found = re.fullmatch(self.peft_config.target_modules, key)

然后对于每一个找到的目标层,创建一个新的lora层:

# 注意这里的Linear是在该py中新建的类,不是torch的Linearnew_module = Linear(target.in_features, target.out_features, bias=bias, **kwargs)

最后调用_replace_module方法替换掉原来的linear:

self._replace_module(parent, target_name, new_module, target)

其中这个replace的方法并不复杂,就是把原来的weight和bias赋给新创建的module,然后再分配到指定的设备上:

def _replace_module(self, parent_module, child_name, new_module, old_module): setattr(parent_module, child_name, new_module) new_module.weight = old_module.weight if old_module.bias is not None: new_module.bias = old_module.bias if getattr(old_module, "state", None) is not None: new_module.state = old_module.state new_module.to(old_module.weight.device) # dispatch to correct device for name, module in new_module.named_modules(): if "lora_" in name: module.to(old_module.weight.device)

接下来主要看一下Lora层的实现,首先是Lora的基类,可以看出这个类就是用来构造Lora的各种超参数用:

class LoraLayer: def __init__( self, r: int, lora_alpha: int, lora_dropout: float, merge_weights: bool, ): self.r = r self.lora_alpha = lora_alpha # Optional dropout if lora_dropout > 0.0: self.lora_dropout = nn.Dropout(p=lora_dropout) else: self.lora_dropout = lambda x: x # Mark the weight as unmerged self.merged = False self.merge_weights = merge_weights self.disable_adapters = False

然后就要讲到上文中所提到的Linear类,也就是Lora的具体实现,它同时继承了nn.Linear和LoraLayer。

class Linear(nn.Linear, LoraLayer): # Lora implemented in a dense layer def __init__( self, in_features: int, out_features: int, r: int = 0, lora_alpha: int = 1, lora_dropout: float = 0.0, fan_in_fan_out: bool = False, # Set this to True if the layer to replace stores weight like (fan_in, fan_out) merge_weights: bool = True, **kwargs, ): nn.Linear.__init__(self, in_features, out_features, **kwargs) LoraLayer.__init__(self, r=r, lora_alpha=lora_alpha, lora_dropout=lora_dropout, merge_weights=merge_weights) self.fan_in_fan_out = fan_in_fan_out # Actual trainable parameters if r > 0: self.lora_A = nn.Linear(in_features, r, bias=False) self.lora_B = nn.Linear(r, out_features, bias=False) self.scaling = self.lora_alpha / self.r # Freezing the pre-trained weight matrix self.weight.requires_grad = False self.reset_parameters() if fan_in_fan_out: self.weight.data = self.weight.data.T

在构造方法中,除了对各个超参数进行配置之外,还对所有参数进行了初始化,定义如下:

def reset_parameters(self): nn.Linear.reset_parameters(self) if hasattr(self, "lora_A"): # initialize A the same way as the default for nn.Linear and B to zero nn.init.kaiming_uniform_(self.lora_A.weight, a=math.sqrt(5)) nn.init.zeros_(self.lora_B.weight)

其中lora的A矩阵采用了kaiming初始化,是Xavier初始化针对非线性激活函数的一种优化;B矩阵采用了零初始化,以确保在初始状态ΔW=BA\Delta W =BAΔW=BA为零。(值得注意的是在LORA的论文中,A采用的是Gaussian初始化)。

对于train和eval方法,放在一起介绍,它主要是需要对merge状态进行记录:

def train(self, mode: bool = True): nn.Linear.train(self, mode) self.lora_A.train(mode) self.lora_B.train(mode) if not mode and self.merge_weights and not self.merged: # Merge the weights and mark it if self.r > 0: self.weight.data += ( transpose(self.lora_B.weight @ self.lora_A.weight, self.fan_in_fan_out) * self.scaling ) self.merged = True elif self.merge_weights and self.merged: # Make sure that the weights are not merged if self.r > 0: self.weight.data -= ( transpose(self.lora_B.weight @ self.lora_A.weight, self.fan_in_fan_out) * self.scaling ) self.merged = False def eval(self): nn.Linear.eval(self) self.lora_A.eval() self.lora_B.eval()

首先对于新定义的这个Linear层,其本身继承了torch.nn.Linear,所以需要调用nn.Linear.train(self, mode)来控制一下自身原本参数的状态,并且此外它加入了lora_A和lora_B两部分额外的参数,这两部分本质上也是nn.Linear,也需要控制状态。

然后主要来理解一下merge_weights是在做什么,也就是看train中的if分支,not mode说明是eval模式,而self.merge_weights在上文中有介绍,是配置文件中的,意思是评估时是否需要将lora部分的weight加到linear层原本的weight中,not self.merged是状态的记录,也就是说,如果设置了需要融合,而当前状态没有融合的话,就把lora部分的参数scale之后加上去,并且更新self.merged状态;在elif分支中,是为了在训练的过程中,确保linear本身的weights是没有经过融合过的(理论上这一步应该是在eval之后的下一轮train的第一个step触发)。

至于为什么是在train中涉及merge_weights,其实在torch的源码中,nn.Linear.eval()实际上是调用了nn.Linear.train(mode=False),所以这里train方法中的merge_weigths,实际上是在eval中也发挥作用的。

forward中也是类似的原理,正常情况下训练过程应该是走elif的分支:

def forward(self, x: torch.Tensor): if self.disable_adapters: if self.r > 0 and self.merged: self.weight.data -= ( transpose(self.lora_B.weight @ self.lora_A.weight, self.fan_in_fan_out) * self.scaling ) self.merged = False return F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias) elif self.r > 0 and not self.merged: result = F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias) if self.r > 0: result += self.lora_B(self.lora_A(self.lora_dropout(x))) * self.scaling return result else: return F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias)

在了解了这些基本原理之后,就可以类似地去实现更多更加灵活的功能了,例如对transformer的某些层增加lora,而其余的层保持不变等。

以上就是关于LORA的代码实现介绍,在实际的PEFT模块中,还包含了更多更详细完备的设置,本文只是对基本原理和过程进行了介绍,其中包含了部分个人理解,如果错误,还请指出。如果本文对你的学习和工作有所帮助,记得留下一个免费的赞,我们下期再见。

本文链接地址:https://www.jiuchutong.com/zhishi/278486.html 转载请保留说明!

上一篇:打不开exe程序(exe都打不开)

下一篇:kencli.exe是什么进程 kencli进程查询(kwservice.exe是什么)

  • 英雄联盟cpu使用率100怎么办(cpu使用率100 怎么办)(英雄联盟cpu使用率过高bug)

    英雄联盟cpu使用率100怎么办(cpu使用率100 怎么办)(英雄联盟cpu使用率过高bug)

  • 微信头像图片怎样调大小(微信头像图片怎么删除)

    微信头像图片怎样调大小(微信头像图片怎么删除)

  • 手机高德地图怎么投屏到汽车上(手机高德地图怎么连接汽车导航)

    手机高德地图怎么投屏到汽车上(手机高德地图怎么连接汽车导航)

  • 打印机a4纸只打印一半(打印机a4纸只打印一半,字体还很大)

    打印机a4纸只打印一半(打印机a4纸只打印一半,字体还很大)

  • Boss直聘账号被锁定了怎么办(boss直聘账号被锁定申诉范文)

    Boss直聘账号被锁定了怎么办(boss直聘账号被锁定申诉范文)

  • 小米账号退出不了(小米账号退出不了可以刷机吗)

    小米账号退出不了(小米账号退出不了可以刷机吗)

  • 探探解除匹配是单向的吗(探探解除匹配是什么意思)

    探探解除匹配是单向的吗(探探解除匹配是什么意思)

  • rar用什么软件打开(rar文件用什么压缩软件)

    rar用什么软件打开(rar文件用什么压缩软件)

  • 苹果11pro港版支持电信吗(11pro港版支持双卡吗)

    苹果11pro港版支持电信吗(11pro港版支持双卡吗)

  • 麒麟980都有哪些手机(麒麟980有哪些平板)

    麒麟980都有哪些手机(麒麟980有哪些平板)

  • 苹果手机怎么下载歌曲(苹果手机怎么下安卓软件)

    苹果手机怎么下载歌曲(苹果手机怎么下安卓软件)

  • 小爱触屏音箱怎么连接(小爱触屏音箱怎么使用)

    小爱触屏音箱怎么连接(小爱触屏音箱怎么使用)

  • 如何手机远程控制电脑(如何手机远程控制平板)

    如何手机远程控制电脑(如何手机远程控制平板)

  • iphone11快充伤电池吗(苹果11快充会影响电池寿命吗)

    iphone11快充伤电池吗(苹果11快充会影响电池寿命吗)

  • 小米8se怎么设置电池百分比(小米8se怎么设置悬浮窗)

    小米8se怎么设置电池百分比(小米8se怎么设置悬浮窗)

  • 酷派怎么恢复出厂设置(酷派手机怎么恢复出厂设置视频教程)

    酷派怎么恢复出厂设置(酷派手机怎么恢复出厂设置视频教程)

  • 荣耀10如何设置锁屏图片(荣耀10如何设置桌面时间)

    荣耀10如何设置锁屏图片(荣耀10如何设置桌面时间)

  • 鼠标滚轮上下没有反应(鼠标滚轮上下没有反应,只能左右)

    鼠标滚轮上下没有反应(鼠标滚轮上下没有反应,只能左右)

  • Windows 10如何清除微软账户活动历史记录(windows 10如何清除联网记录)

    Windows 10如何清除微软账户活动历史记录(windows 10如何清除联网记录)

  • 最薄的数码相机是什么(最轻薄数码相机)

    最薄的数码相机是什么(最轻薄数码相机)

  • 织梦DEDECMS栏目后台设置显示,栏目前台怎么隐藏(织梦cms不更新了吗)

    织梦DEDECMS栏目后台设置显示,栏目前台怎么隐藏(织梦cms不更新了吗)

  • CSS入门(css入门经典)

    CSS入门(css入门经典)

  • 中华人民共和国宪法
  • 押金和租金
  • 公司收到生育津贴不发给员工 分录
  • 小规模的开专票怎么征税
  • 财务报表和信息的区别
  • 叉车折旧年限是几年预计净残值
  • 软件公司主营业务类别
  • 房地产简易征收可以开专用发票吗
  • 运输发票抵扣进项税率
  • 备用金现金日记账表格
  • 个人独资企业变更投资人要交税吗
  • 计提的费用年底要冲回吗
  • 出口退税申报流程视频
  • 12月了还没找到工作怎么办
  • 结转已完工产品会计分录
  • 企业购买硬件与软件该如何做账?
  • 异地工程缴纳增值税
  • 通行费发票如何开具
  • 企业可以申请停缴社保吗
  • 企业发生的以旧换新业务应该按照什么处理
  • 支票大写金额书写转换
  • 企业筹办费会计处理
  • 小规模无票收入后期开票怎么申报
  • 上市公司现金分红怎么派发
  • 季度资产总额怎么填写
  • 法人车无偿给公司使用合法吗
  • 景点门票定价依据
  • 补丁自动过期怎么解决
  • 安装win7提示版本过低
  • vue报错cannot read property
  • 在一株植物上行走的作文
  • 发票系统技术维护费
  • vue中响应式是什么意思
  • laravel执行seed命令
  • 待抵扣进项税的限额是什么
  • 自产自销农产品发票如何开具
  • php各个框架的优缺点
  • thinkphp伪静态nginx
  • 【JavaScript 刨根问底之】requestAnimationFrame以及延时器
  • metareg命令
  • 补收入账是什么意思
  • mongodb基础知识
  • celery eventlet
  • 有什么学电脑的网站
  • 应收账款逾期无法偿还
  • 发票超额怎么办
  • 收回投资收到的现金减少
  • 减免税额和抵免税额是什么意思
  • 独资企业和公司区别
  • 出票后定期付款的汇票,其提示付款的期限为
  • 贷款利息收入如何计算
  • 主营业务成本是什么科目
  • 收到现金货款怎么处理
  • 产权转让印花税减半征收
  • 实缴资本和注册资本的比例
  • 金税盘未清盘怎么处理
  • 金税盘发票全额抵扣如何做账
  • sql server数据库怎么导出
  • win7/win8.1/win10系统下如何配置Java环境变量 Java环境变量的配置教程介绍
  • linux常用命令top
  • subss
  • macos终端命令
  • linux中rsync有什么用
  • 电脑死机常见原因分析
  • linux纯文本浏览器
  • linux sort命令参数及用法详解
  • smss.exe什么意思
  • win7安装kb4534310补丁失败
  • linux系统硬盘分区类型
  • 升级win10后悔了
  • windows10移动
  • Cocos2dx3.2 Crazy Tetris 基本设置及主菜单页面(菜单、按钮)
  • jquery自定义的方法有哪些
  • unity 开发游戏
  • js调用键盘
  • jquery获取outerhtml
  • 装饰装修公司需要什么
  • 重庆电子税务局怎么绑定办税人员
  • 如何在电子税务局变更财务负责人
  • 车辆购置税查询怎么查
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设