位置: IT常识 - 正文

RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

编辑:rootadmin
RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

推荐整理分享RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

HuggingFace发表了一篇博客,详细讲解了ChatGPT背后的技术原理——RLHF。

笔者读过之后,觉得讲解的还是蛮清晰的,因此提炼了一下核心脉络,希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。

此外,文末整理了几篇关于 RLHF 最热门的12篇必读论文,卖萌酱打包好挂在公众号后台了,感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋”后台回复【1212】领取。

RLHF:基于人类反馈(Human Feedback)对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

在过去几年里,基于prompt范式的AI生成模型取得了巨大的成功,诞生了不少有意思的AI应用,例如AI写小说,AI写代码,AI画图甚至AI做视频等。

但其实这种生成模型很难训练。以语言模型为例,大多是采用“自回归生成”的方式,通过循环解码的方式来逐字或逐词生成内容。训练时往往简单的基于上下文信息去预测下一个词,然后用交叉熵来计算每个词的loss。显然这种token-level的loss不能很好的从整体输出的层面去指导模型优化方向。

为了能刻画模型输出的整体质量(而不是单个词),人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度,但这也仅仅是在评价的层面,模型在训练的时候是见不到这些人类真实的偏好的。

因此,训练阶段,如果直接用人的偏好(或者说人的反馈)来对模型整体的输出结果计算reward或loss,显然是要比上面传统的“给定上下文,预测下一个词”的损失函数合理的多。基于这个思想,便引出了本文要讨论的对象——RLHF(Reinforcement Learning from Human Feedback):即,使用强化学习的方法,利用人类反馈信号直接优化语言模型。

抱抱脸:ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文_夕小瑶的博客-CSDN博客

从零实现ChatGPT——RLHF技术笔记 - 知乎

Illustrating Reinforcement Learning from Human Feedback (RLHF)

本文链接地址:https://www.jiuchutong.com/zhishi/299233.html 转载请保留说明!

上一篇:提取acc文件字幕的解决方案(acc字幕文件怎么转换srt字幕)

下一篇:9、Linux 高并发Web服务器项目实战(附代码下载地址)(linux 高并发网络编程)

  • 美团怎么切换定位城市(美团怎样切换位置)

    美团怎么切换定位城市(美团怎样切换位置)

  • 微信没有密码和验证码还可以如何登录(微信没有密码和验证码号码怎么登录)

    微信没有密码和验证码还可以如何登录(微信没有密码和验证码号码怎么登录)

  • 微信号怎么注销(微信号怎么注销微信支付)

    微信号怎么注销(微信号怎么注销微信支付)

  • 苹果商店无法下载app(苹果商店无法下载app是怎么回事)

    苹果商店无法下载app(苹果商店无法下载app是怎么回事)

  • 华为的扫一扫功能在哪(华为扫一扫功能在哪里掉出来的)

    华为的扫一扫功能在哪(华为扫一扫功能在哪里掉出来的)

  • 苹果x控制中心怎么设置(苹果x控制中心从底部打开)

    苹果x控制中心怎么设置(苹果x控制中心从底部打开)

  • 华为p40pro充电慢怎么回事(华为mate50耗电快吗)

    华为p40pro充电慢怎么回事(华为mate50耗电快吗)

  • 3dmax渲染十几个小时(3dmax渲染只有一小块)

    3dmax渲染十几个小时(3dmax渲染只有一小块)

  • 浏览器为什么不能打开呢(浏览器为什么不能打字)

    浏览器为什么不能打开呢(浏览器为什么不能打字)

  • xs与11的区别(xs和11哪个更值得入手)

    xs与11的区别(xs和11哪个更值得入手)

  • 原装墨盒可以加墨吗(原装墨盒可以加墨吗惠普)

    原装墨盒可以加墨吗(原装墨盒可以加墨吗惠普)

  • blued可以通过手机号找人吗(blued可以通过手机号注册找人吗)

    blued可以通过手机号找人吗(blued可以通过手机号注册找人吗)

  • 斐讯app不能用怎么办(斐讯app无法使用)

    斐讯app不能用怎么办(斐讯app无法使用)

  • 惠普笔记本无法开机怎么办(惠普笔记本无法开机)

    惠普笔记本无法开机怎么办(惠普笔记本无法开机)

  • 红米k30pro和小米10的区别(红米k30pro和小米11青春版哪个好)

    红米k30pro和小米10的区别(红米k30pro和小米11青春版哪个好)

  • 拼多多无法取消订单(拼多多无法取消先用后付)

    拼多多无法取消订单(拼多多无法取消先用后付)

  • iqoo手机忘记密码了,怎样才能解锁密码(IQOO手机忘记密码)

    iqoo手机忘记密码了,怎样才能解锁密码(IQOO手机忘记密码)

  • 计算机网络是一个什么系统(计算机网络是一个(1.0))

    计算机网络是一个什么系统(计算机网络是一个(1.0))

  • 联想r5和i5的区别(联想i5和r5的区别)

    联想r5和i5的区别(联想i5和r5的区别)

  • 苹果储存中的其他怎么删(苹果储存中的其他怎么删除)

    苹果储存中的其他怎么删(苹果储存中的其他怎么删除)

  • 剪映怎么把视频和音乐对齐(剪映怎么把视频放慢)

    剪映怎么把视频和音乐对齐(剪映怎么把视频放慢)

  • 微信读书书币能干嘛(微信读书书币能提现吗)

    微信读书书币能干嘛(微信读书书币能提现吗)

  • 华为p30怎么看流量(华为p30pro怎么看流量使用情况)

    华为p30怎么看流量(华为p30pro怎么看流量使用情况)

  • 如何查手机流量还剩多少(华为如何查手机流量)

    如何查手机流量还剩多少(华为如何查手机流量)

  • 情侣空间钥匙怎么获得(情侣空间钥匙怎么用)

    情侣空间钥匙怎么获得(情侣空间钥匙怎么用)

  • 拼多多的卡片在哪里(拼多多的卡包在哪里能找到)

    拼多多的卡片在哪里(拼多多的卡包在哪里能找到)

  • 怎么看手机用了多长时间(怎么看手机用了多长时间vivo)

    怎么看手机用了多长时间(怎么看手机用了多长时间vivo)

  • python多线程和多进程之间的联系(python多线程多核)

    python多线程和多进程之间的联系(python多线程多核)

  • 自查补报以前年度收入可以补在当前属期吗
  • 汽车销售和租赁哪个大
  • 自产用于捐赠的会计处理
  • 建筑业工程结算是什么科目
  • 报销用的发票抬头写什么
  • 失业保险稳岗返还是政府补助吗
  • 本期免税额怎么填写
  • 在建工程转什么
  • 固定资产累计折旧借贷方向
  • 工资条迟到扣款
  • 医院计提坏账准备分录
  • 一个订单只能申请一次退款吗
  • 账本印花税每年交吗,要交几本
  • 公司收到保险公司的理赔款怎么做分录
  • 固定资产大修理和更新改造的区别
  • 出售固定资产累计折旧的账务处理
  • 申报缴纳印花税,取得银行缴税凭证
  • 具备以下条件
  • 利息支出为什么不是经营成本
  • 产品打样费计入什么科目
  • 华为手机定位另外一个华为手机怎么办
  • 低值易耗品的界定标准何时修改的
  • 以前年度的账错了怎么办
  • php文件包含的4种方式
  • 什么是现金解款支付
  • php-cp
  • 企业并购特殊性税务处理
  • 当月不生产,生产成本怎么处理
  • wamp设置
  • 修建污水处理厂施工方案包括哪些内容
  • 最高成本的手机是哪款
  • PHP:imagecreatefromjpeg()的用法_GD库图像处理函数
  • 出租的厂房房产税如何征收
  • 结算借款的账务处理办法
  • 个人借款放在哪个科目
  • 企业低值易耗品有哪些
  • 受托方代扣代缴的消费税计入什么科目
  • thinkphp yii
  • yolov5m
  • 融资租赁增值税税目
  • 发票密码区如何调整
  • 【第二趴】uni-app开发工具(手把手带你安装HBuilderX、搭建第一个多端项目初体验)
  • 预付劳务款项会计分录
  • 应交税费应交增值税销项税额
  • 外购无形资产账务处理
  • 扶贫小额信贷分析报告
  • 解决掉发的有效方法
  • 织梦cms官网
  • 应收账款与营业收入比例分析
  • 给客户买的车票怎么查询
  • 贷款呆账准备金
  • 以前年度的企业所得税怎么入账
  • 红冲以前年度的费用怎么做账
  • 刚成立的公司老板要我入股
  • 在建工程的成本包括应交增值税吗
  • 长期待摊费用属于利润表项目吗
  • 用于研发样品出口收汇国际收支申报
  • 背书转让为什么记应收票据
  • 农民专业合作社法
  • 进项和销项必须一致才能抵扣吗
  • centos6.2安装
  • mysql批量删表
  • 分配服务器失败
  • solaris newfs
  • mmc.exe是什么
  • linux cr3
  • win7系统的wlan在哪里?
  • svn下载项目
  • bat运行完后不退出
  • css上下间距怎么设置
  • 原生js import
  • Android 为LinearLayout增加分割线 divider
  • linux中gzip的用法
  • shell 去空格 trim
  • python中字符串的方法
  • 使用灭火器人要站在上风口还是下风口
  • 山东省关于退林还耕的规定
  • 济南槐荫税务局办税大厅电话
  • 增值税专票红冲退税
  • 我国税制结构是怎样的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设