位置: IT常识 - 正文

RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

编辑:rootadmin
RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

推荐整理分享RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

HuggingFace发表了一篇博客,详细讲解了ChatGPT背后的技术原理——RLHF。

笔者读过之后,觉得讲解的还是蛮清晰的,因此提炼了一下核心脉络,希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。

此外,文末整理了几篇关于 RLHF 最热门的12篇必读论文,卖萌酱打包好挂在公众号后台了,感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋”后台回复【1212】领取。

RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

在过去几年里,基于prompt范式的AI生成模型取得了巨大的成功,诞生了不少有意思的AI应用,例如AI写小说,AI写代码,AI画图甚至AI做视频等。

但其实这种生成模型很难训练。以语言模型为例,大多是采用“自回归生成”的方式,通过循环解码的方式来逐字或逐词生成内容。训练时往往简单的基于上下文信息去预测下一个词,然后用交叉熵来计算每个词的loss。显然这种token-level的loss不能很好的从整体输出的层面去指导模型优化方向。

为了能刻画模型输出的整体质量(而不是单个词),人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度,但这也仅仅是在评价的层面,模型在训练的时候是见不到这些人类真实的偏好的。

因此,训练阶段,如果直接用人的偏好(或者说人的反馈)来对模型整体的输出结果计算reward或loss,显然是要比上面传统的“给定上下文,预测下一个词”的损失函数合理的多。基于这个思想,便引出了本文要讨论的对象——RLHF(Reinforcement Learning from Human Feedback):即,使用强化学习的方法,利用人类反馈信号直接优化语言模型。

抱抱脸:ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文_夕小瑶的博客-CSDN博客

从零实现ChatGPT——RLHF技术笔记 - 知乎

Illustrating Reinforcement Learning from Human Feedback (RLHF)

本文链接地址:https://www.jiuchutong.com/zhishi/299233.html 转载请保留说明!

上一篇:提取acc文件字幕的解决方案(acc字幕文件怎么转换srt字幕)

下一篇:9、Linux 高并发Web服务器项目实战(附代码下载地址)(linux 高并发网络编程)

  • 个税手续费返还政策最新规定2023
  • 车辆购置税是什么税种
  • 医疗保险单位和个人交的区别
  • 月末存款余额
  • 营业外收入需要结转到本年利润吗
  • 公司职工餐费用怎样入账
  • 个人对个人大额转账要什么资料
  • 做网站的费用会计分录
  • 零售业进销差价会计分录实例
  • 月末进项税额转出科目需要结转吗
  • 电子税务局财务负责人实名认证
  • 财产保全包括支付宝吗
  • 企业缴存公积金比例
  • 材料入库时实收什么意思
  • 确定发出存货实际成本的方法
  • 季节性停工损失属于期间费用吗
  • 车辆购置税会计账务处理
  • 发票上传多久可以验旧
  • 增值税减除后附加税计算方法
  • 会务费税率是多少 2021
  • 小微 小型微利
  • 个人转账收入要缴税吗
  • 发票申请需要多久
  • 航天信息维护费280元会计分录
  • 物资包括材料吗
  • 未开票收入计入预收账款
  • 暂估金额与发票金额的区别
  • 没有实缴的股份转让要交个人所得税吗
  • 最新w10系统专业版
  • 什么是递延所得税资产和负债
  • windows dvd maker是什么
  • 财政部土地出让收支管理办法
  • 公司出租房租怎么交税
  • 无限极分类mysql
  • 最强超频
  • nginx apache php
  • 金融企业会计计提贷款呆账准备金主要贯彻了
  • 施工企业间接费占比
  • 小企业会计准则和一般企业会计准则的区别
  • 委托加工物资实际成本构成一般包括
  • 土地出让金抵减增值税账务处理
  • 衍生工具主要用途
  • 车辆处置收入入什么科目
  • 购买的服务怎么做账
  • sql server 2005 sp4
  • 个税申报哪些可以减免
  • 企业所得税视同销售的有哪些?
  • 低值易耗品费用计入产品成本的方式有哪几种
  • 刚购入的固定资产已使用年限怎么填
  • 增值税农产品免税
  • 个人所得税计算方法2023计算器
  • 企业跨年度支出怎么计算
  • 收到某企业一笔发票
  • 库存商品太多
  • 销项税票怎么开
  • 合伙企业是什么组织形式
  • 金蝶银行存款日记账
  • 营改增后计税依据
  • 会计账簿有哪些格式
  • 公司注册资金可以变更减少吗
  • mysql 分组语句
  • mysql密码忘记了怎么找回
  • 什么是分表分库
  • win2000注册表
  • mac的safari浏览器无法打开
  • u盘启动盘进入pe系统
  • win10提示测试模式
  • xp系统怎么更改用户权限
  • kazaalite.exe是什么进程 kazaalite进程有什么用
  • win10的播放设置在哪
  • python的nltk
  • unity 数学
  • unity3D游戏开发
  • JavaScript splice()方法详解
  • unitystudio手机版
  • jquery return
  • node.js 定时任务
  • 使用nodejs连接openai超时
  • 广东省电子税务局官网登录入口
  • 怎么查询12345的验证码
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设