位置: IT常识 - 正文

关于 ChatGPT 必看的 10 篇论文

编辑:rootadmin
关于 ChatGPT 必看的 10 篇论文 目录1 Transformer2 GPT-33 InstructGPT4 Sparrow5 RLHF6 TAMER7 PPO8 In-Context Learning8.1 Why Can GPT Learn In-Context8.2 What learning algorithm is in-context learning9 Prompt参考

推荐整理分享关于 ChatGPT 必看的 10 篇论文,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

团队博客: CSDN AI小组

相关阅读

ChatGPT 简介从 ELMo 到 ChatGPT:历数 NLP 近 5 年必看大模型

关于 ChatGPT 必看的 10 篇论文

2022年11月,OpenAI推出人工智能聊天原型ChatGPT,再次赚足眼球,为AI界引发了类似AIGC让艺术家失业的大讨论。

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入,产生相应的智能回答。这个回答可以是简短的词语,也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer(生成型预训练变换模型)的缩写。

下面列出了学习 ChatGPT 必看的 10 篇论文。

1 Transformer

ChatGPT 使用的预训练模型 GPT,是在 Transformer 中的 decoder 基础上进行改造的。

Title:Attention Is All You NeedAbstract:The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature.摘要:占主导地位的序列转导模型是基于复杂的递归或卷积神经网络,包括一个编码器和一个解码器。性能最好的模型还通过注意机制将编码器和解码器连接起来。我们提出了一个新的简单的网络结构–Transformer,它只基于注意力机制,完全不需要递归和卷积。在两个机器翻译任务上的实验表明,这些模型在质量上更胜一筹,同时也更容易并行化,需要的训练时间也大大减少。我们的模型在WMT 2014英德翻译任务中达到了28.4 BLEU,比现有的最佳结果(包括合集)提高了2 BLEU以上。在WMT 2014英法翻译任务中,我们的模型在8个GPU上训练了3.5天后,建立了新的单模型最先进的BLEU得分,即41.0分,这只是文献中最佳模型的训练成本的一小部分。2 GPT-3

GPT 家族与 BERT 模型都是知名的 NLP 预训练模型,都基于 Transformer 技术。GPT-1 只有12个 Transformer 层,而到了 GPT-3,则增加到 96 层。

Title:Language Models are Few-Shot LearnersAbstract:Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3’s few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.摘要:最近的工作表明,在许多NLP任务和基准上,通过对大型文本语料库进行预训练,然后对特定的任务进行微调,可以获得巨大的收益。虽然在结构上通常是任务无关的,但这种方法仍然需要特定任务的微调数据集,包括几千或几万个例子。相比之下,人类通常只需通过几个例子或简单的指令就能完成一项新的语言任务–而目前的NLP系统在很大程度上仍难以做到这一点。在这里,我们展示了扩大语言模型的规模,大大改善了与任务无关的、少量的性能,有时甚至达到了与之前最先进的微调方法的竞争力。具体来说,我们训练了GPT-3,一个具有1750亿个参数的自回归语言模型,比以前的任何非稀疏语言模型多10倍,并测试了它在少数情况下的性能。对于所有的任务,GPT-3的应用没有任何梯度更新或微调,纯粹通过与模型的文本互动来指定任务和少量演示。GPT-3在许多NLP数据集上取得了强大的性能,包括翻译、回答问题和cloze任务,以及一些需要即时推理或领域适应的任务,如解读单词、在句子中使用一个新词或进行3位数的算术。同时,我们也发现了一些数据集,在这些数据集中,GPT-3的几率学习仍然很困难,还有一些数据集,GPT-3面临着与大型网络语料库训练有关的方法学问题。最后,我们发现,GPT-3可以生成人类评价者难以区分的新闻文章样本。我们讨论了这一发现和GPT-3总体上的更广泛的社会影响。3 InstructGPT

ChatGPT 的训练流程,主要参考自 instructGPT ,ChatGPT 是改进的 instructGPT。

Title:Training language models to follow instructions with human feedbackAbstract:Making language models bigger does not inherently make them better at following a user’s intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.摘要:让语言模型变得更大并不意味着它们能更好地遵循用户的意图。例如,大型语言模型可以产生不真实的、有毒的或根本对用户没有帮助的输出。换句话说,这些模型没有与用户保持一致。在本文中,我们展示了一个途径,通过人类反馈的微调,在广泛的任务中使语言模型与用户的意图保持一致。从一组标签员写的提示语和通过OpenAI API提交的提示语开始,我们收集了一组标签员演示的所需模型行为的数据集,我们利用监督学习对GPT-3进行微调。然后,我们收集模型输出的排名数据集,我们利用人类反馈的强化学习来进一步微调这个监督模型。我们把产生的模型称为InstructGPT。在人类对我们的提示分布的评估中,尽管参数少了100倍,但1.3B参数的InstructGPT模型的输出比175B的GPT-3的输出更受欢迎。此外,InstructGPT模型显示了真实性的改善和有毒输出生成的减少,同时在公共NLP数据集上的性能回归最小。尽管InstructGPT仍然会犯一些简单的错误,但我们的结果表明,利用人类反馈进行微调是使语言模型与人类意图相一致的一个有希望的方向。4 Sparrow

DeepMind 的 Sparrow,这个工作发表时间稍晚于 instructGPT,其大致的技术思路和框架与 instructGPT 的三阶段基本类似,不过明显Sparrow 在人工标注方面的质量和工作量是不如instructGPT的。反过来,Sparrow 中把奖励模型分为两个不同 RM 的思路,理论上是优于instructGPT 的。

Title:Improving alignment of dialogue agents via targeted human judgementsAbstract:We present Sparrow, an information-seeking dialogue agent trained to be more helpful, correct, and harmless compared to prompted language model baselines. We use reinforcement learning from human feedback to train our models with two new additions to help human raters judge agent behaviour. First, to make our agent more helpful and harmless, we break down the requirements for good dialogue into natural language rules the agent should follow, and ask raters about each rule separately. We demonstrate that this breakdown enables us to collect more targeted human judgements of agent behaviour and allows for more efficient rule-conditional reward models. Second, our agent provides evidence from sources supporting factual claims when collecting preference judgements over model statements. For factual questions, evidence provided by Sparrow supports the sampled response 78% of the time. Sparrow is preferred more often than baselines while being more resilient to adversarial probing by humans, violating our rules only 8% of the time when probed. Finally, we conduct extensive analyses showing that though our model learns to follow our rules it can exhibit distributional biases.摘要:我们提出了Sparrow,一个寻求信息的对话代理,与提示的语言模型基线相比,它被训练得更有帮助,更正确,更无害。我们使用来自人类反馈的强化学习来训练我们的模型,并增加了两个新的内容来帮助人类评分者判断代理行为。首先,为了使我们的代理更有帮助和无害,我们将良好对话的要求分解为代理应该遵循的自然语言规则,并分别询问评分者每条规则。我们证明,这种分解使我们能够收集更有针对性的人类对代理行为的判断,并允许更有效的规则条件的奖励模型。第二,我们的代理在收集对模型
本文链接地址:https://www.jiuchutong.com/zhishi/297276.html 转载请保留说明!

上一篇:vue3的路由传参query、params以及动态路由传参(vue路由传参的几种方式)

下一篇:【Matlab 六自由度机器人】运动学逆解(附MATLAB机器人逆解代码)(matlab中自由变量)

  • 4个让你宝贝卖疯的淘宝店铺推广技巧(4个让你宝贝卖的女人)

    4个让你宝贝卖疯的淘宝店铺推广技巧(4个让你宝贝卖的女人)

  • 你的粉丝为什么跟别人跑了?真相在这里!(你粉丝为什么这么少)

    你的粉丝为什么跟别人跑了?真相在这里!(你粉丝为什么这么少)

  • 电脑误删了文件怎么恢复(电脑误删了文件打不开网页,显示证书过期)

    电脑误删了文件怎么恢复(电脑误删了文件打不开网页,显示证书过期)

  • 微信怎么设置页码(微信怎么设置页面密码锁不让别人看)

    微信怎么设置页码(微信怎么设置页面密码锁不让别人看)

  • 微信总是被别人登录怎么办(微信总是被别人登陆怎么回事)

    微信总是被别人登录怎么办(微信总是被别人登陆怎么回事)

  • ipad air3电池使用时间(ipad air3电池健康)

    ipad air3电池使用时间(ipad air3电池健康)

  • 华为手机开发者选项怎么开启(华为手机开发者模式怎么打开)

    华为手机开发者选项怎么开启(华为手机开发者模式怎么打开)

  • 华为笔记本找不到启动设备(华为笔记本找不到支持windows hello人脸的摄像头)

    华为笔记本找不到启动设备(华为笔记本找不到支持windows hello人脸的摄像头)

  • 云课堂分屏会检测手机么(云课堂为什么不可以分屏)

    云课堂分屏会检测手机么(云课堂为什么不可以分屏)

  • 手机出厂默认哪个版本(手机出厂默认会是哪个版本)

    手机出厂默认哪个版本(手机出厂默认会是哪个版本)

  • 滴滴每天工作有限时间吗(滴滴每天工作有加班费吗)

    滴滴每天工作有限时间吗(滴滴每天工作有加班费吗)

  • 怎么恢复非苹果商店下的app(怎么恢复非苹果手机系统)

    怎么恢复非苹果商店下的app(怎么恢复非苹果手机系统)

  • 快手最多可以关注多少人限量吗?(快手最多可以关注多少)

    快手最多可以关注多少人限量吗?(快手最多可以关注多少)

  • 车载光盘是cd还是dvd(车载cd和光盘有什么区别)

    车载光盘是cd还是dvd(车载cd和光盘有什么区别)

  • 荣耀9蓝牙版本是多少(荣耀蓝牙版本要改1.6吗)

    荣耀9蓝牙版本是多少(荣耀蓝牙版本要改1.6吗)

  • word封面竖着的字体(word封面竖着的字怎么放到最大)

    word封面竖着的字体(word封面竖着的字怎么放到最大)

  • 剪映怎么用本地音乐(剪映怎么用本地音乐导出)

    剪映怎么用本地音乐(剪映怎么用本地音乐导出)

  • qq如何免费送礼物(qq如何免费送礼物给好友)

    qq如何免费送礼物(qq如何免费送礼物给好友)

  • 侯补购票什么意思(侯补够票什么意思)

    侯补购票什么意思(侯补够票什么意思)

  • 港版苹果11有双卡双待吗(港版苹果11是不是双卡)

    港版苹果11有双卡双待吗(港版苹果11是不是双卡)

  • 2003word选项在哪里(office2003选项在哪里)

    2003word选项在哪里(office2003选项在哪里)

  • 电话薄如何导入卡上(电话薄如何导入手机里)

    电话薄如何导入卡上(电话薄如何导入手机里)

  • 快手私信如何自动回复(快手私信怎么自动发消息?)

    快手私信如何自动回复(快手私信怎么自动发消息?)

  • 笔记本电脑开机白屏(笔记本电脑开机密码忘了怎么解除)

    笔记本电脑开机白屏(笔记本电脑开机密码忘了怎么解除)

  • 小规模纳税人本月应交增值税
  • 销售收入不含税怎么计算增值税额
  • 劳务公司开出的工程服务费专用发票怎么计费
  • 企业年金如何缴费标准
  • 现金日记账根据哪些凭证登记
  • 增值税发票暂时无法查看怎么回事
  • 增值税申报税额填错了怎么进行填
  • 季度开票超过9万个人所得税
  • 拿票报销的交通费要交个人所得税吗
  • 没有认证方式
  • 服务的进项税
  • 银行和保险公司归哪个部门管
  • 固定资产提前报废需要补提折旧吗
  • 环保设备的折旧计入
  • 小规模税收减免
  • 非现金资产包括
  • 押金收不回来了怎么处理
  • 小规模纳税人收到专票后如何处理
  • 劳务报酬的申报流程
  • 重装系统出现无效签名
  • 设备安装服务费税收分类编码
  • 投资收益率的作用
  • 销售折让怎么做分录
  • 一个药厂能够生产药品的三个前提条件
  • linux virt-manager
  • 营改增后租金如何交税
  • 最强笔记本2021
  • php显示错误报告方式
  • php时间函数用法代码
  • 中草药进销差价会计分录
  • unity ik
  • vue笔记大全
  • 企业之间的借款计入什么科目
  • wordpress账号密码忘记了
  • chrome网上应用商店在哪
  • 为什么结转材料成本差异
  • 民办非企业的税务登记国税还是地税
  • 报废产品属于什么会计科目
  • 运输企业税负率一般控制在多少?
  • 帐户结余
  • 先付款后收到发票
  • 因管理不善的材料怎么办
  • 运输公司车辆保养记录表格
  • 发出库存商品没有发票
  • 下乡扶贫可以报什么岗位
  • 客户赔偿款计入成本吗
  • 旅行社开的发票如何记账?
  • 员工体检费计入什么会计科目里
  • 可供出售金融资产是指什么
  • 合作社开具免税发票流程
  • 建设工程毛利率如何计算
  • macbookpro蓝牙找不到
  • drupdate
  • ubuntu双显卡驱动安装
  • linux ...
  • 微信开发者软件
  • linux系统中的脚本文件一般以什么开头
  • win1020h2版本千万别更新
  • win7系统两台电脑共享
  • win10 mobile 1709
  • win8 系统设置
  • 安装win8.1一直卡着不动
  • win10 edge浏览器怎样添加信任站点
  • cocos2dx drawcall优化
  • Unity3D ugui事件监听机制
  • opencv轻松入门
  • android系统架构图
  • perl 排序
  • js有while吗
  • 怎样用在js中使用css的内容
  • nginx1.16安装
  • jquery点击按钮跳转页面
  • js跳出if语句
  • javascript用什么写
  • androiddialog圆角
  • python xlim
  • JavaScript window.setTimeout() 的详细用法
  • [置顶]游戏名 TentacleLocker
  • 国家税务总局的局长什么级别
  • 全资子公司和全资子企业的区别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设