GPT-1、2、3、4、ChatGPT系列模型及关键技术学习笔记

GPT-4o2024-05-05554

先做个广告：如需代注册GPT4或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi

从年初ChatGPT开始火以来，朋友圈、公众号多个渠道和ChatGPT相关的文章铺天盖地，读了很多，学习了很多。分析的角度有很多，商业角度、创业团队角度、技术角度......我关注最多的还是从技术角度，想从已经公开的资料尽可能：一是搞清楚ChatGPT的关键技术，二是对大模型技术体系有个整体的把握。

推荐使用GPT中文版，国内可直接访问：https://ai.gpt86.top

看了这么多文章，又该到自己整理输出的时候了，只有经过自己系统梳理，头脑里才有完整、清晰的版图。由于GPT-1、GPT-2、GPT-3、InstructGPT、ChatGPT、GPT-4模型结构上区别并不大，主要是训练数据、目标、训练方法有所不同，但伴随其发展的，不管是来源于GPT还是其他项目，出现了一系列重要的技术，这些是我想系统整理的内容。本文先简单描述GPT系列模型发展历程和各模型特点，然后重点记录InstructGPT/ChatGPT中涉及的技术，试图理清楚这些技术细节，最后简要解释下近期大模型相关的一些概念。读了文章后你会了解到下面的技术：

In-context learning
Prompt Tuning
Instruction Tuning
Chain-Of-Thought(CoT)
Reinforcement Learning from Human Feedback(RLHF)

GPT-1

GPT全称Generative Pre-Training,来自于OpenAI 2018年的论文《Improving Language Understanding by Generative Pre-Training》。

模型使用Transformer的Decoder结构，训练包含两阶段，第一阶段无监督预训练，训练任务为预测下一个字，这是典型的语言模型训练方法，第二阶段在具体任务上进行有监督微调。

下图左边是模型结构，右边是在分类、蕴含、相似性、多选四种任务上进行微调的方法，都可以统一到通过GPT输出加上线性层和softmax（linear+softmax）的方式来实现。

图1 GPT预训练模型结构和微调任务

谈GPT必须得说一下BERT，同是2018年Google提出的模型，和GPT的主要区别是BERT基于Transformer的Encoder结构，GPT采用从左到右单向编码但BERT使用双向编码，BERT可同时根据左右边上下文预测中间内容。由于模型结构和训练方式的不同，GPT更适合生成式任务，BERT更适合判别式任务。此后，GPT和BERT不断扩大各自训练数据量，不断竞争提高自己的性能，在ChatGPT出现之前的四年间，业界基于BERT所做的各种研究、变种和应用多于GPT。

GPT-2

论文《Language Models are Unsupervised Multitask Learners》，发表于2019年。

在GPT-1基础上做了持续改进，其实最主要的变化就是增加了训练数据量，模型结构只做了很小的改动，归一化层改了放置的位置，参数初始化按照残差层个数进行缩放，输入序列最大长度从512增大到1024。由于训练数据量增大，别的因素不说，模型性能肯定能得到提升。

此外，GPT-2主打zero-shot，即零样本学习。零样本学习的效果就是，对下游的各种任务不需要用监督学习的方式微调了，只要GPT-2语言模型训练好了，直接拿来用就是，比如需要将英语翻译为法语，在需要翻译的英语前加上“translate English to French”前缀即可。Zero-shot是一大亮点，主要原因是在大规模数据上进行无监督训练学到的知识，可以迁移到其他任务上，模型在多个测试任务上取得了不错的效果，但OpenAI自己也说GPT-2的zero-shot在可用性上还差得远。

Zero-shot已经用到了Prompt的思想，使用Prompt被认为是NLP领域新的范式，近年来关于Prompt的论文和文章也是铺天盖地，我们假设读者已经了解了Prompt的基础知识，不再赘述，Prompt、Prompting、Prompt Tuning说的是同一回事。

GPT-3

论文《Language Models are Few-Shot Learners》，发表于2020年。

GPT-3的重点从GPT-2的zero-shot 转向了few-shot学习，下图2是zero-shot、one-shot、few-shot和fine-tuning的对比，从中就能看出zero-shot、one-shot、few-shot分别是啥意思，zero、one、few表示模型预测时给的提示例子的数量。就像对人问问题一样，直接问问题不给提示或上下文很难回答，给点上下文就会更容易，这就是In-context learning, 也就是few-shot，GPT-3提出的很重要的概念。说重要是各种谈论GPT的地方都会谈到，但是刚接触时很难理解，原因是其中含有learning字样，但In-context learning又不使用梯度更新模型参数，容易让人费解。这个我们后面专门安排一节重点讲解。

图2 zero-shot、one-shot、few-shot和fine-tuning的对比

GPT-3和GPT-2模型结构一样，主要变化是使用了稀疏注意力sparse attention，同时训练数据又继续做了增加，初一看模型结构没什么变化，所以会认为总体上创新点不多。不管zero、one、few-shot，因为GPT-2中已经重点提了zero-shot，都属于类似的东西，只是提示的数量不一样。但实际上其开创性恰恰就在于提出了In-context learning/few-shot，提供了一种新的思考问题的方式。以前的思路都是通过下游任务有监督地微调，更新模型参数，现在只需要提供几个示例，不需要更新模型参数就能很好地预测！

图3是在TriviaQA数据集上三种shot的结果对比，显然给的示例多的few-shot效果最好。

图3 zero-shot、one-shot、few-shot结果对比

当初GPT-3的模型性能并没有引起业界轰动，大家看起来也只不过是和BERT类似，不断增大模型参数和训练数据量，没有引起什么质变。不过事后看来，GPT-3存在非常大的潜力，为后续的ChatGPT等模型提供了一个很好的基础，说明OpenAI是坚信大模型+大数据+部分关键技术这个方向的，不断探索和坚持造就了今天的局面。

到此，我们汇总一下GPT1、2、3的发布日期，使用的训练数据、参数量。

图4 GPT-1、2、3汇总

GPT系列模型后续的发展，下面这张爱丁堡大学符尧博士画的图是我见过总结得最好的图。

其中的核心就是3个模型：Codex、InstructGPT、ChatGPT。Codex相对比较直接，接下来基本一笔带过，ChatGPT是基于InstructGPT的，且InstructGPT有很多创新，我们要重点描述InstructGPT。

图5 GPT-3、GPT-3.5系列发展史（来源：https://yaofu.notion.site）

Codex

论文《Evaluating Large Language Models Trained on Code》，发表于2021年。

用一句话描述Codex的话，就是使用Github上海量的代码来训练GPT模型。所以模型结构还是GPT-3一向的模型结构。

数据集：Github上公开的5400百万软件仓库，包含179GB的小于1M的python文件，过滤一些自动生成的、长度过长的文件后，最终得到159GB数据。此外，Codex还在额外的一些编程竞赛数据集上进行了微调，得到了Codex-S。

模型在人工手写的验证集上进行验证，不同参数量的Codex，Codex-S和GPT-3比较，GPT-3没有解决验证集中的任何问题，Codex、Codex-S效果明显。

图6 GPT-3和Codex系列模型在手写验证集上性能比较

InstructGPT [重点]

论文《Training language models to follow instructions with human feedback》，发表于2022年3月。

InstructGPT我们要重点拆解学习一下，原因是ChatGPT惊艳的效果出来以后，和GPT-3比较，主要的技术改进都体现在InstructGPT中，包括奖励模型、基于人类反馈的强化学习等。一开始读论文的时候，对其实现过程感觉有点绕，对中间每个步骤使用的数据、损失函数具体的目标不清晰，多读读别人写的文章后越来越清晰。

InstructGPT的总体目标是要使得模型的输出和人类“对齐”(align)，即输出的内容和人类的意图一致，避免不真实的、有害的内容。

总体三步

InstructGPT微调过程总体分为如图7的三步：

第一步：使用人工标注的prompt数据，在GPT-3大模型上进行有标签的监督学习（SFT：Supervised Fine-Tuning）；

第二步：让人对前一步已经训练的模型的输出进行打分，训练一个奖励模型（RM， Reward Model），让奖励模型模仿人类，可以像人类打分一样对大模型预测结果进行评价；

第三步：利用人工标注的数据，使用强化学习进行训练，强化学习需要的奖励模型就是第二步得到的模型。第二、三步不断迭代，最后通过强化学习得到的大模型越来越对齐到人类想要的结果。

图7 InstructGPT训练的三个步骤

数据集

为了启动最开始的InstructGPT模型，让数据标注者自己写prompt，包含三种类型：

Plain：数据标注者随意选择任务写prompt，只要保证任务有足够多样性。
Few-shot：给定一个指令（instruction），写多个问题-答案对。例如：指令为“判断一个句子的情感是积极还是消极的”，对应的问题-答案对：“今天天气很好”--积极，“这个问题太麻烦了”--消极，“这个电影太精彩了”--积极。。。如果有K个问题-答案对，就可以每次选K-1个作为Few-shot中的上下文，剩下一个为要预测的结果，循环每个问题-答案对都可以作为要预测的结果，所以可以产生K个训练样本。
User-based：基于给定的用例写prompt，常见的用例类型有：分类、内容抽取、生产、重写、聊天、问答、头脑风暴。下图8是一些样例：

图8 InstructGPT prompt用例样例

除了人工标注之外，用户在使用OpenAI的API的时候也能同时提供prompt数据，在征得用户同意的前提下这些数据可用于训练。使用人工标注+API提供的方法，对应微调中的三个步骤产生了三个prompt集合：

SFT有监督训练，来自人工标注+API提供，大小13k
RM奖励模型训练，包含prompt的打分排序，来自人工标注+API提供，大小33k
强化学习训练：只来自于API，大小31k

为了让保持数据多样性，单个人提供的数据不要太多，每个人限制200条prompts，模型的训练、验证、测试集数据没有交集，以避免模型验证、测试的数据是模型在训练阶段见过的。

OpenAI在一个国外比较有名的兼职网站Upwork招募了40个外包人员进行标注工作，选择这些人的时候还专门做了测试，只招募通过测试的人员，说明OpenAI的工作做得很严谨。

模型

监督学习（SFT：Supervised Fine-Tuning）

在之前已经预训练好的GPT-3的基础上进行微调，微调的数据集前面已经做了介绍。训练一个epoch就过拟合了，但是继续训练能帮助提高后面步骤的奖励得分，继续训练了16个epoch。

奖励模型（RM：Reward Model）

模型结构：在SFT模型即GPT-3模型上，把最后一层去掉，改为可以输出奖励分数的层，论文中没有说具体的变换。模型使用了一个只有6B参数大小的版本，既节约了计算时间和资源，还发现比175B大小的模型训练更稳定。

模型输入：SFT模型的产出作为奖励模型的输入。例如给SFT模型输入一个问题Q，SFT模型可以产生4个答案A1，A2，A3，A4，那么4个QA对（Q，A1），（Q，A2），（Q，A3），（Q，A4）就是奖励模型的输入。

模型输出：RM模型对每个输入进行打分计算，得到一个具体的分数值即为模型的输出。以上面输入为例，模型对（Q，A1），（Q，A2），（Q，A3），（Q，A4）4个输入进行得分计算，得到4个分数记为S1，S2，S3，S4。

模型学习目标：人工对这个问题Q的4个答案合理性进行排序，比如A2->A1->A4->A3，奖励模型学习的目标就是让自己的打分结果和人工排序相同。这里一个巧妙的地方就是人工只需要对答案进行排序，不需要打绝对的分数，因为如果每个人打绝对分数，个体之间差异很大，但是如果排序，大多数人排序的结果是一致的。损失函数如下：

重点讲讲这个损失函数，是对一个prompt x（比如我们例子中的问题Q）和SFT的输出y（比如我们例子中的答案A），组成奖励模型的输入（x，y）通过奖励模型计算得到的奖励分数。是任意2个答案和对应奖励模型分数的差，注意这里答案和对应人工排序高于，任意2个答案的人工排序总有一个高于另一个。通过取和对数，再取数学期望，最小化loss即让最大化，目标是让任意两个得分之间的距离拉大，让得分区别更明显，即奖励模型能打出更有区分度的分数，同时又符合人工排序。由于目标是最大化，所以只需要对应的人工排序高于的情况，不需要那种排序低于的，否则所有排列都加进去相互抵消了导致loss为0，以上面A2->A1->A4->A3为例，[2,1]、[2,4]、[2,3]、[1,4]、[1,3]、[4,3]。由于是从K个答案中任意选两个的组合，最后平均一下除以总体个数。

论文中提到如果（x，y）这样的数据对两两输入进奖励模型，比如（Q，A2）和（Q，A1）通过奖励模型比较一次，（Q，A2）和（Q，A4），（Q，A2）和（Q，A3）。。。等等，如果有K个答案，这样会导致每个（Q，Ai）被前向计算和后向传播更新模型参数K-1次，会导致训练过拟合。但是如果改为对于一个Q的所有（Q，Ai）一下全部输入奖励模型，损失函数用上面的函数，整体考虑了所有K个答案，每个（Q，Ai）前向和后向计算都只进行了一次，避免了过拟合。

上面的解释其实我尝试理解了一段时间才搞清楚，所以花了重点篇幅记录一下。

基于人类反馈的强化学习（RLHF：Reinforcement Learning from Human Feedback）

模型结构：在SFT已经训练的模型上微调，模型结构也就是GPT-3结构，使用强化学习中的PPO算法（Proximal Policy Optimization，近端策略优化）。如下图9，左边绿色部分是SFT训练的模型，中间灰色部分是在SFT基础上进一步微调的强化学习模型，网络的前面部分层参数冻结，只微调后面少量参数，目的是为了避免已经花了大量数据进行训练的SFT模型参数变化太大，已经学到的知识被遗忘了。右边红色部分是已经训练好的奖励模型，作为强化学习中的奖励得分计算模块。

图9 RLHF算法结构

目标函数

是用于强化学习训练的数据，和前面讲的奖励模型输入格式一样。是强化学习模型，结构就是GPT-3，是SFT模型，结构也是GPT-3，二者模型结构一样，通过训练微调后面未冻结网络层的参数。

目标函数分为三部分：

：让奖励得分最大化。
：这一项最大化，即log项最小化，当

相等时log值为0最小，要求和结果尽可能接近，不要为了奖励分数最大化导致学习过程中参数变化太大，浪费了训练的成果。

：当使用PPO-ptx时，把在预训练数据集上的梯度加入整体梯度计算，也是为了经过强化学习训练的模型和原始的语言模型不要差别太大，要保持原始语言模型在大量数据上训练后可以输出自然数据的能力。

最后，RM和RLHF逐步持续迭代，有了更好的RLHF模型，再使用其产生的数据用于训练更好的RM，新的RM继续用于RLHF。

SFT、RM、RLHF都用的GPT-3的结构，只是在不同阶段各自的大小和要更新的参数不一样。

ChatGPT和GPT-4

随着GPT的发展，OpenAI变得越来越封闭，对新模型的结构、训练细节披露越来越少。

ChatGPT是大家最熟悉的模型版本名字，作为InstructGPT的姐妹模型，模型结构和训练方式与InstructGPT类似，前面已经解释了细节，在GPT-3.5上进行微调，但OpenAI没有发表论文，只有一篇博客：https://openai.com/blog/chatgpt

GPT-4在ChatGPT之后发布，主要特点是支持多模态，支持文本和图片输出，输出文本。发表了文章《GPT-4 Technical Report》，单干货不多，对应的技术博客：https://openai.com/research/gpt-4

In-context learning(ICL)

单独说一下ICL，是因为我花了一些时间才对其有了初步理解，字面上看是模型要更新参数进行学习，但论文说不用更新参数。

ICL广义上是Prompt Learning的一种，都通过提示来学习。简单说ICL就是模型都训练好了，直接输入一些提示或者样例，对想要预测的内容进行预测，这个阶段实际上只做了预测，没有模型训练。这里面的learning误导人。

GPT-3的论文中用下图10说明了ICL。使用梯度下降预训练语言模型的过程叫做外循环outer loop，这个叫元学习meta-learning（概念多，不用管）。有了预训练得到的模型后，给一些上下文，就可以预测想要预测的内容了，这就是In-context learning，这些上下文例子就是contxt.

图10 Meta-learning和In-context learning

我们一开始在图2中的one-shot、few-shot里面给的样例就是context。

为什么不用更新模型参数就能预测对，主要原因就是大模型经过海量数据的学习，已经拥有了一定的知识，给它一些上下文，它知道要做什么，就能预测出相应的结果。其前提就是模型要大！

这篇清华、北大和微软联合发布的有趣的论文《Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers》，通过一堆公式推导说ICL实际上和使用梯度下降进行学习本质上干了同样的事，有兴趣的可以读一读。

最后，并不是说这些context不能用到模型中进行梯度下降训练，当然可以拿进去训练，只不过大模型经过超级多的数据预训练后，这点context数据是否需要加入训练改进模型已经无足轻重了。

其他常见概念

Prompt Tuning

和各种文章看到的Prompt，Prompting说的是同一个东西，通过使用模板/提示的方法来微调模型，经常和它进行比较的是之前的预训练+微调方法。写Prompt相关的文章太多，想细读的推荐五万字综述！Prompt Tuning：深度解读一种新的微调范式

Instruction Tuning

与常见的Prompt Tuning使用模板构造数据进行模型微调相比，指令微调Instruction Tuning直接使用指令数据对语言模型进行微调，对模型直接下达指令更符合人类的使用习惯。以情感分析为例：

Prompt Tuning模板数据像这样：“今天天气真好。情感是____”，是做填空题。

Instruction Tuning数据像这样：输入：“今天天气真好。请判断这句话是积极的还是消极的。” 输出“积极的”

Google的论文《FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS》显示Instruction Tuning在多个任务中使用具体的指令进行微调后，除了在见过的多个任务上性能超过GPT-3，在未见过的任务上也大幅度地提高了zero-shot的性能。OpenAI和Google都是对指令微调早期的探索者。

Chain-Of-Thought(CoT)

思维链，就是把思考问题的整个过程用一个链条表示出来，告诉模型去学习这个过程的细节，而不是直接给出问题答案。

下图11是普通Prompting和使用了CoT Prompting的区别，左边普通Prompting对问题直接给了答案，右边答案中高亮的部分先给出思考过程，最后说出答案。让模型学的东西越多越细，更容易给出正确答案。