免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。1证券研究报告计算机GPT产业梳理:GPT-1到ChatGPT华泰研究计算机增持(维持)研究员谢春生SACNo.S0570519080006SFCNo.BQZ938xiechunsheng@htsc.com+(86)2129872036联系人袁泽世,PhDSACNo.S0570122080053yuanzeshi@htsc.com+(86)2128972228行业走势图资料来源:Wind,华泰研究2023年2月14日│中国内地专题研究ChatGPT:三个阶段打造智能对话交互式AI模型ChatGPT从诞生到现在,经历了三个大版本阶段演进。2018年,生成式预训练模型GPT-1诞生,引入有监督的微调训练。2019年,GPT-2以增加模型通用性为目标,移除GPT-1的微调,以更大的参数量和多任务训练,进行zero-shot学习;2020年,GPT-3用few-shot代替zero-shot,并将训练参数增加到1750亿,再次提高模型表现性能。2022年,InstructGPT引入基于人类反馈的强化学习(RLHF),在GPT-3基础上进行奖励训练,以13亿训练参数实现了更好的模型性能。2022年11月,基于InstructGPT,OpenAI正式推出对话交互式模型ChatGPT,5天时间突破了100万用户。GPT-1阶段:开启生成式预训练模型时代GPT-1基于Transformer架构,仅保留了架构中的解码器(Decoder)部分。GPT-1的训练过程包括预训练和微调两个阶段。1)阶段一:预训练采用内含长段连续文本的BooksCorpus数据集,进行高容量无监督学习。2)阶段二:在做下游任务时,首先根据任务类型将其转换为不同的输入形式,再针对不用类型任务用特定训练集进行微调训练。GPT-1的参数量为1.17亿。GPT-1在常识推理、问题回答、文本蕴涵等任务上分别比对比方法进步了8.9%、5.7%和1.5%。GPT-2阶段:无监督训练替代有监督训练GPT-2通过海量数据和庞大的模型参数训练出更为通用的模型,无需经过特定的数据集训练也能解决各类问题,即zero-shotlearning(零次学习),从而提高模型的泛化能力。GPT-2在架构上与GPT-1基本保持相同,预训练阶段与GPT-1方法一致,采用了更大的数据集WebText。处理下游任务时,以无监督的训练方式进行zero-shot学习,通过增加prompt文本提示的方式提示模型具体任务类型。GPT-2的参数量增加到15亿。GPT-2在命名实体识别、阅读理解等任务上表现优异,在部分任务上不及预期。GPT-3阶段:性能不断突破,开启商业探索GPT-3在GPT-2架构基础上,舍弃极端的zero-shot,采用few-shot理念,对于特定任务给予少量(10-100个)样例。GPT-3最大训练参数量为1750亿,训练结果准确度随着few-shot样例的增加有明显提高。基于GPT-3,OpenAI发布了Codex和InstructGPT。Codex是通用代码生成模型,能够将自然语言转换为代码,支持十几种编程语言。InstructGPT在GPT-3基础上通过RLHF训练奖励模型来进一步优化训练结果,仅用13亿参数量即可实现更符合人类需求的输出。此外,2020年6月,OpenAI开始对外提供接入GPT-3服务的API,并按照模型类型进行收费,开启商业探索第一步。ChatGPT阶段:各大互联网厂商争相推出类似产品2022年11月,基于InstructGPT,OpenAI发布了以对话方式交互的ChatGPT。ChatGPT训练方法与InstructionGPT基本相同,区别仅在于在微调时基于InstructGPT而非GPT-3。随着ChatGPT用户的增多,OpenAI推出了按月订阅的ChatGPTPlus服务,开启第二次商业尝试。国内外互联网厂商纷纷跟进,微软发布基于ChatGPT的新版Bing,谷歌发布Bard对标ChatGPT;百度宣布推出类ChatGPT应用“文心一言”,京东推出智能人机对话平台ChatJD,阿里宣布公司正在研发“阿里版”ChatGPT,网易有道和360也表示推出类ChatGPT应用。风险提示:宏观经济波动,下游需求不及预期。本报告内容均基于客观信息整理,不构成投资建议。(30)(21)(12)(3)6Feb-22Jun-22Oct-22Feb-23(%)计算机沪深300仅供内部参考,请勿外传免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。2计算机正文目录ChatGPT:三个阶段打造智能对话交互式AI模型.3GPT-1阶段:开启生成式预训练模型时代..4GPT-1:在Transformer架构基础上,引入微调训练.4GPT-2阶段:无监督训练替代有监督训练..5GPT-2:取消微调,用更大参数和数据集进行zero-shot学习5OpenAI:得到微软注资,关注技术滥用问题..6GPT-3阶段:性能不断突破,开启商业探索....7GPT-3:模型参数达1750亿,few-shot进一步提高性能.7对外提供GPT-3API,开启商业模式探索.8CodeX:基于GPT-3的代码生成工具9InstructGPT:人类反馈强化学习技术加持下的“最强”GPT-3.10ChatGPT阶段:各大互联网厂商争相推出类似产品..12ChatGPT:以对话方式交互的进化版InstructGPT...12ChatGPTPlus:商业模式二次探索..13微软继续加注OpenAI,推出基于ChatGPT的新版Bing.....13各大互联网厂商均表示将推出类ChatGPT产品.14风险提示..14仅供内部参考,请勿外传免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。3计算机ChatGPT:三个阶段打造智能对话交互式AI模型ChatGPT从诞生到现在,经历了三个大版本阶段的演进。1)GPT-1阶段:2018年6月,OpenAI发表论文《ImprovingLanguageUnderstandingbyGenerativePre-Training》,标志着GPT-1的诞生。论文首次提出生成式预训练概念,基于Transformer架构的解码器搭建训练模型。训练过程包括预训练和微调两个阶段,模型参数量为1.17亿。2)GPT-2阶段:2019年2月,论文《LanguageModelsareUnsupervisedMultitaskLearners》发布,GPT-2诞生。GPT-2取消了GPT-1中的有监督微调阶段,将其变成了无监督的模型,采用更大的参数和多任务(multitask)学习进行预训练,提高了模型面对未知任务时的推理能力(zero-shot零次学习)。GPT-2-训练参数量为15亿。3)GPT-3阶段:2020年5月,OpenAI发表论文《LanguageModelsareFew-ShotLearners》,提出GPT-3模型。GPT-2模型中的zero-shot在某些任务上性能不及预期,因此OpenAI在GPT-3中提出了few-shot少量(10-100个)样本学习,提高了模型的